ahi funciono, tenia mal puesto el return false;
Código HTML:
if (selected == false) {
alert("Debe seleccionar al menos una opción.");
return false;
}else{
var agree=confirm("Esta seguro que desea eliminar los elementos seleccionados");
if (agree){return true;
}else{
for (i=0; i < document.forms[0].elements.length; i++)
{
document.forms[0].elements[i].checked = false;
}
}return false;
}
}