Hola zreep,
si lo he entendido bien, lo que quieres es que al cargar la pagina el contenido de "p" inicie oculto, para esto puedes añadirle esta linea
$("p").css("display","none");
Tu script quedaria así:
Código:
<!DOCTYPE html>
<html>
<head>
<script src="http://ajax.googleapis.com/ajax/libs/jquery/1.11.1/jquery.min.js"></script>
<script>
$(document).ready(function(){
$("p").css("display","none");
$("#hide").click(function(){
$("p").toggle();
});
});
</script>
</head>
<body>
<span id="hide">Hide</span>
<p>If you click on the "Hide" button, I will disappear.</p>
</body>
</html>
Espero que te sirva.
Un saludo