Es que para poder hacer lo que quieres necesitarás un PC muy potente. Yo no he usado Camtasia, sino otro (Hypercam) y tengo que capturar sin compresión y a unos fps bajos, si no aparecen los saltitos.
Intenta hacer la captura sin compresión, eso sí te ocupará un montón de MB e includo algunos GB, pero seguramente mejorará la cosa. Luego si lo que grabas te interesa, simplemente lo recomprimes y listo.
Saludos