De hecho el código hace justo lo que dijo Zerokilled....
Se creó un array con los agentes de los buscadores más comúnes (como por ejemplo Google).. De ahí compara el agente del que visita la página con los del array... Si son iguales, redirecciona a un error 404 (documento inexistente). Con esto, el buscador toma el archivo como inexistente y no lo indexa..
Qué se logra con esto? Que no aparezca en los buscadores