Me parece que la tendencia esta tornando a que sí se incluya el sitemap.xml en el archivo de robots. En el sitio donde se intenta estandarizar el sitemap.xml lo dicen:
http://www.sitemaps.org/protocol.php#submit_robots
Lo siento, pero no puedo escribir enlaces todavía (todo se andará
). El caso es que en esa página se define el protocolo que siguen los principales buscadores(google, yahoo, msn, ask) para que un sitemap.xml sea correcto.
Particularmente yo tengo la referencia a al archivo en el robots.txt y me han indexado en un periquete, y de momento no me ha explotado la pagina.
Un archivo robots de ejemplo
Código:
User-agent: *
Disallow: /css/
Disallow: /imgs/
Disallow: /js/
Sitemap: http://www.ejemplo.com/sitemap.xml
Esto lo valida las herramientas de webmaster de google, por lo que no debe estar tan mal...