Si buscas por el foro de Frameworks, verás que ya se ha hablado
varias veces de cómo hacer para utilizar a la vez las dos librerías PrototypeJS y jQuery.
Aquí tienes cómo hacerlo. Puede ser bueno también que leas
la documentación de noConflict().
Mi consejo personal, de todos modos, es que no uses dos librerías. Puedes encontrar un plugin de tipo Lightbox para jQuery y quitar así la necesidad de usar PrototypeJS.