Como crear un ranking

[layker]

Pero esque yo kiero que cada usuario pueda votar solo una vez al dia, la tabla que tengo es sta

CREATE TABLE `votos` (
`id_voto` int(255) NULL auto_increment,
`usuario` varchar(20) NOT NULL,
`ip` varchar(20) NOT NULL,
`fecha` date NOT NULL,
`voto` int(2) NOT NULL,
PRIMARY KEY (`id_voto`)
);

si dices que es mejor un solo registro por usuario no se como hacerlo...:S
que halla miles de registros influye muxo??