Aunque es cierto que hoy en día activar SSL no afecta "casi" al servidor, sí es cierto que añade un poco de latencia (Hablo de memoria, creo que son 2 paquetes más por el handshake inicial). La latencia sí puede afectar a la sensación de "velocidad" al acceder en un inicio a la web y a la experiencia de usuario. Un artículo muy interesante respecto al SSL y el por qué no se usa siempre: http://vitobotta.com/why-isnt-ssl-on-by-default-for-all-websites/
Yo te recomiendo poner la zona SSL en otro subdominio distinto al principal. Si lo pones todo bajo SSL acuérdate de hacer un redirect 301 del HTTP al HTTPS para evitar el contenido duplicado y no ser (posiblemente) penalizado por Google en Seo
