Si el servidor está inactivo durante un tiempo, puede ser, porque google rastrea varias veces al día (al menos mis páginas) y si no las encuentra podrían concluir que se está dando mal servicio.
Pero porque cambie de IP, no creo.
El proceso de acceder a una web pasa por pedir al DNS la IP del dominio al que vamos a pedir la página.
Cualquier navegador, cuando tecleas una dirección, va a un servidor DNS a pedir la IP de ese nombre de dominio y una vez resuelto, le pide la URL tecleada.
Si tu dominio resuelve a una IP las buscará allí, sea cual sea.
Pero necesitas texto con tus palabras clave, a google, según dicen no le importan las META tags sino el contenido real de la página (TEXTO).
Otra cosa que te puede ayudar es registrar tu web en sitemaps
sitemaps, que es dónde le envías a google un mapa de tu sitio para indexación.
Y por supuesto que otras páginas apunten a la tuya. Trata de ponerte en contacto con otros webmasters para intercambiar links (asegúrate de que son páginas 'legales' en cuanto a no intenten engañar a google)