Hola:
Simplemente recorre los checkboxes... si tienen el mismo nombre es más fácil...
contador = 0;
for (i = 0, total = ch.length; i < total; i ++) if (ch[i].checked) contador++;
luego si contador se mantiene a cero es que no hay selección...
Saludos
