No solo si es muy grande es necesarios, sobre todo lo es cuando el sitio se actualiza, como un blog por ejemplo o un sitio de noticias.
El sitemap es la forma más rápida de decirle a Google que actualizaste.
Si te preocupa el nombre del sitemap, puedes crear una redireccion 301 con htacces para darle nombre, veamos:
sitemap.php (es el que genera tu sitemap, obviamente responde a dominio.com/sitemap.php y no va a existir sitemap.xml)
.htaccess
RewriteRule ^sitemap.xml$ sitemap.php [L] (le agregas)
y de esa forma sabrá que cuando llaman a dominio.com/sitemap.xml se procese el sitemap.php
Otra cosa, si bien el sitemap.xml es lo que todos buscan o toman por defecto, la forma de indicarle como se llama de verdad es usando robots.txt
robots.txt
sitemap:
http://www.tudominio.com/sitemap.xml
con eso ya se entera ;), y obviamente le podes poner culquier nombre.
Además claro de como dijo dacho, tambien darlo de alta en Google Webmasters y en Yahoo, Bing y pinguearlos cuando actualizas.
Si usas PHP utilizar
DOMDocument para generar el sitemap te evita hacer las cosas a mano y errores extras por descuido ;)