Problema con ORDER BY

[hgp147]

Hola, estoy haciendo un ORDER BY que tiene operaciones (suma y division).

Tengo en la tabla los campos: puntos1, votos1, puntos2 y votos2
Los campos puntosX (x es 1 o 2) voy acumulando valores, se ingresan cada vez un valor entre 1 y 5.
Y votosX tiene la cantidad de veces que han votado.

Quiero ordenar por el que tiene el mejor promedio, entonces hago:

ORDER BY ((puntos1/votos1) + (puntos2/votos2)) DESC

Tengo 3 registros con los siguientes datos:

puntos1 votos1 puntos2 votos2
5 | 2 || 0 | 0
12 | 3 || 4 | 1
3 | 1 || 0 | 0

Al usar el ORDER BY me queda:
1º 12 | 3 || 4 | 1 (Promedio: 8)
2º 5 | 2 || 0 | 0 (Promedio: 2.5)
3º 3 | 1 || 0 | 0 (Promedio: 3)

Queda mal ordenado, el problema se produce cuando hay algún 0/0, se puede evitar y que quede bien ordenado?

Gracias