No tendria que afectarte en absoluto. Google se toma su tiempo para indexar las url's de los sitemaps. NO desesperes.
El primer sitemap que subi para una de mis webs tenia unos 40000 enlaces .oO(Una burrada, para mi modo de ver las cosas) y estaba practicamente indexado por completo. Lo cambie recientemente por otro con tan solo 16 URL... Después de 3 meses, aún falta 1 url para indexar xD jajajajajjaa
El sitemap AYUDA... pero el que manda y corta el bacalao de toda la vida es
Googlebot
Saludos