Cita:
Iniciado por gananciasenlared Como puedo arreglar esos errores 404? O sea, que cuando google envie nuevamente sus robots, no encuentren de nuevo los errores.
Tendrás que utilizar el archivo htaccess para que cuando se envíe un error 404 al servidor, éste redirija a una
página personalizada de error 404. De esta forma, los robots de búsqueda sabrán que esa página da un error y que no hay que indexarla.
Cita:
Iniciado por gananciasenlared Lo otro que necesito saber es para que se utiliza el archivo robots.txt y como debe estar configurado para los motores de busquedas?
Es un archivo que se genera en el index misitio.com/robots.txt y sirve para darle indicaciones a los buscadores, como por ejemplo, qué partes pueden indexar, donde se encuentran los sitemaps, etc.
Desde el webmastes tools puedes generar el archivo robots.txt o utilizar alguno de los generadores existentes:
http://www.mcanerin.com/en/search-engine/robots-txt.asp