Hola quiero bloquear un sitio entero para que los robots no lo rastreen pero solo quiero permitir que rastreen la pagina principal es decir la del index de mi sitio.
User-agent:*
Disallow:/
Pero ahora no se como decirle que si puede rastrear la pagina index.php podria poner
Allow:/index.php
Pero no creo que sea una buena idea ya que seria lo mismo:
dominio.com
Que
dominio.com/index.php
No estoy seguro si la solucion seria
Allow:
Sin pasarle nada.
Espero respuesta ya que estoy confuso.
