La compresión de los codecs de QuickTime son muy buenas... por ejemplo usar los presets de Animation con codec mpg4 son bastante buenos.
Un buen programa para ello es el Canopus Pro Coder (no es free)
Aunque el bueno en encoder es ferny
. Seguro el te da una mejor opción.