21/05/2008, 10:53
|
 | Modernizr | | Fecha de Ingreso: abril-2008 Ubicación: Mexihco-Tenochtitlan
Mensajes: 26.399
Antigüedad: 16 años, 11 meses Puntos: 2534 | |
| Respuesta: Google e includes
NOTA: no encuentra los archivos ni carpetas... no tiene esa facultad un robot...
los robots... primero leen el .txt para saber (antes de) que evitar y que no...
luego, solo lee el codigo resultante (HTML) del indice, y va chekando los enlaces... NO los src="" (weno, Google si... xD) por ejemplo... pero SI, los href... sobre todo si enlazan a enlaces LOCALES los cuales ya fueron permitidos o negados desde el robots.txt ....
los robots... tambien leen los META de cada archivo enlazado correctamente.... y asi, recursivamente
weno, eso supongo... .D
__________________
Y U NO RTFM? щ(ºдºщ)
No atiendo por MP nada que no sea personal. |