Ver Mensaje Individual
  #5 (permalink)  
Antiguo 15/05/2013, 11:55
ernestomarrero
 
Fecha de Ingreso: mayo-2012
Mensajes: 16
Antigüedad: 12 años, 5 meses
Puntos: 1
Respuesta: Archivo robots bien hecho

Cita:
Iniciado por patilanz Ver Mensaje
Hola quiero preguntar si este archivo funciona bien:

Código robots:
Ver original
  1. User-agent: Googlebot*
  2. Disallow:/*.js$
  3. Sitemap: http://pladurprueba.p.ht/sitemap.xml
  4.  
  5. User-agent: Googlebot-Image*
  6. Disallow:/*.js$
  7. Sitemap: http://pladurprueba.p.ht/sitemap.xml
  8.  
  9. User-agent: Bingbot*
  10. Disallow:/*.js$
  11. Sitemap: http://pladurprueba.p.ht/sitemap.xml
  12.  
  13. Disallow:/messages.php
  14. Disallow:/login.php

O sea si hay algún fallo que pueda bloquear todo el sitio y que no permita la indexacion del sitio web.
Lo mejor es no inventar con eso si no sabes, lo mejor es dejarlo en blanco o poner solo los sitemaps. Hace poco hice un posts en mi blog acerca del tama, pero no puedo poner enlace porque me lo borran. Pero te puedo asegurar que lo mejor es solo poner los sitemaps o dejarlo en blanco, o incluso borrarlo del servidor, realmente eso no sirve para nada, todo lo que hace lo puedes configurar desde las herramientas para webmasters de Google o de Bing.