Hola, garridoman.
Además de lo que te comenta caricatos (hola

, si me descuido chocamos

) tienes que cambiar de lugar el total++
if(frm.elements[m].type=='checkbox' && frm.elements[m].checked)
{
total++
if (total>3)
Espero que ahora te marche bien. Saludos,