En la documemtación de dicho plugin está lo siguiente:
Código Javascript
:
Ver original$("#multiselect").bind("multiselectclick", function(event, ui){
/*
event: the original event object
ui.value: value of the checkbox
ui.text: text of the checkbox
ui.checked: whether or not the input was checked
or unchecked (boolean)
*/
});
creo que podrías utilizar esto para que cuando selecciones un checkbox, hagas el calculo de todos los seleccionados para si el total es mayor a tu limitacion y en caso de que pase esto, no dejar que se tilde.