El tema dle sitemap no es vinculante a los enlaces de sitio.
Lo que debes hacer es estructurar el contenido de forma adecuada. Tanto a nivel de enlaces internos, como a nivel de estructura del sitio ( páginas ).
Enviar el sitemap ayuda a que Google pueda indexar las páginas ya que le dices que es lo que existe.
Puedes leerte esta información sobre como
conseguir enlaces de sitio