Pues creo que tendrías que ir procesando uno a uno los checkbox y contando cuantos hay marcados
Código:
<script>
function cuantosHayMarcados(form)
{var marcados = 0;
for (j=0;j<form.elements.length;j++)
{if (form.elements[j].type == 'checkbox')
{if (form.elements[j].checked) marcados++;
}
}
return marcados;
}
</script>
No sé si la sintaxis es correcta de todo, pero los tiros irían por ahí