Hola amigo franciscomarin
Una pregunta amigo. De donde o como sacaste esa reglas para el archivo robots.txt ? Es basado en tu experiencia o de algún sitio ?
Leí un artículo donde el conocido Yoast indica que solamente utiliza la siguiente regla:
Código:
User-Agent: *
Disallow: /out/
Este es el link
http://torquemag.io/wordpress-robots-txt-seo/ con el título "What experts are doing ?"
Extraño que Wordpress no sugiera un modelo a seguir para esta archivo tan importante.
Saludos !