A mi se me ocurre que alguien podría utilizar
proxys. Se suelen utilizar para averiguar contraseñas de sitios web que restringen los intentos por IP.
Eso lo podrías controlar auditando cuantos usuarios diferentes (por IP) han votado tal objeto en un intervalo de tiempo. Si supera un umbral, pon el objeto en 'no se puede votar temporalmente'.