Saludos!!!
Solo tienes que realizar un pequeño cambio:
if (total>3)
{
alert("tiene mas de tres")
alert(frm.elements[m].name)
frm.elements[m].checked=false ***
return false;
}
*** cual.checked = false;
Asi eliminas la selección actual.
Espero haberte ayudado
