JQuery y mootools son compatibles en tanto te ocupes de escribir siempre "jQuery" en vez de "$".
El problema de ambas juntas es el simbolo"$". Pero de cualquier manera, hay una manera de ejecucion de jQuery llamada "noConflict".
Si estas usando scripts prefabricados de jQuery, sabe que no traen de por si el $ reemplazado. Pero creo que si carga libreria y codigo jquery luego de mootools, en no conflict mode, las cosas irian bien.
Fijate:
http://docs.jquery.com/Core/jQuery.noConflict
Ahi tambien podes ver compatibilidades de jquery con otras librerias.