ODE es de lo mejor que hay (es gratuito y open source), aunque no es tan sencillo.
Si quieres mas opciones aqui puedes encontrar otra lista:
http://abattoir.wolfpaw.net/personal/gamelibs.php (en la secccion math and pyshics)
Espero tengas exito con eso.
Saludos,