¿Y por qué tener que elegir entre una cosa y la otra? ¿No puedes hacer las dos?
De cara al usuario es bueno tener un Mapa del Sitio en HTML para que se pueda guiar, pero de cara a Google y otros buscadores es bueno tener un Sitemap en XML.
Una cosa no quita a la otra, pueden ser perfectamente complementarias, por eso, no tienes por qué renunciar a una por la otra.