Código Apache:
Ver original
SetEnvIfNoCase User-Agent (googlebot|bingbot|yahoo!\sslurp) is_search_bot <Limit GET POST HEAD> order allow,deny # # Allow from MEXICO (MX) # allow from 131.0.124.0/22 allow from 131.0.236.0/22 ... allow from 207.249.224.0/19 deny from all allow from env=is_search_bot # </Limit>
Tengo unas dudas:
1) Si el "deny from all" lo debo de poner al final o no importa realmente
2) Si ven correcto el allow de los robots de búsqueda.