Normalmente no afecta siempre que el sitio no este offline en ningun momento. Los robots de busqueda solo verian un cambio de IP. Eso si, como dice Fociños, el IP es usado para filtrar las busquedas cuando los resultados se limitan a un pais determinado, pero si tienes un dominio del pais eso no es problema tampoco, por ejemplo si tienes un dominio .es saldras en los resultados de busquedas limitadas a españa aunque estes en otro IP.
Por otro lado, si cambias para un host mas estable y rapido en respuesta si te puede ayudar a que los robots te vean mejor, y viceversa.
En todo esto no estaria mal que el proveedor de hosting te de un IP dedicado en lugar de un shared IP, eso ademas facilita mucho las cosas para probar el sitio bien antes de cambiar los nameservers del dominio. Sino de cualquier forma puedes hacerlo poniendo el dominio a apuntar al nuevo IP localmente en tu PC.
Suerte
...