15/10/2011, 18:06
|
Colaborador | | Fecha de Ingreso: julio-2008 Ubicación: Consultor SEO
Mensajes: 2.937
Antigüedad: 16 años, 5 meses Puntos: 185 | |
Respuesta: Es excluyente usar robot.txt? No, no lo es.
Ese archivo es tomado en referencia por los buscadores para que NO indexen ciertos contenidos.
También lo puedes hacer mediante meta etiquetas robots con un "noindex,follow"...
aunque no esta demás usar ese fichero :) es una ayuda/sugerencia a los crawlers :) |