Duda con los robots

[Cluster]

Pero .. esos metatags que mencionas . como lo creas .. desde PHP o desde javascript .. es decir, como obtienes el navegador que usa el cliente?

De todas formas .. una conexión HTTP se indican algunos datos como el tipo cliente que usa y algunos más .. Esos datos son enviados normalmente por un navegador .. pero, gestores de descargas, y robots las generan así que depende de que cabecera HTTP genere ese robot indentificandose como tal idioma así actuará tu código y le entregará lo que corresponda.

Hasta con PHP puedes hacer conoexiones HTTP a una página y "simular" que PHP es un navegador X tan sólo con usar las cabeceras adecuadas HTTP que describe su protocolo.

Un saludo,