Hola Tony, al parecer estas confundiendo enlaces con indexacion.
Enlaces son las páginas que apuntan a nuestro Sitio Web, la indexación son la cantidad de páginas nuestras que dentro de los buscadores.
Al parecer -ya que mencionas Sitemaps- debes haber perdido páginas indexadas en Yahoo y Live. Lo que debes hacer es medir si tus visitas han bajado de las que provenían por esos buscadores, ya que lo que importa son los resultados como dice Google