La mejor tarjeta del mercado ahora mismo es la radeon 9800 de ati, seguida muy de cerca por la geforce fx 5900 ultra de nvidia.
Yo te recomiendo la radeon 9700pro (ati) que es practicamente igual que la 9800 y vale bastante menos.
Respecto a tu pregunta, entre las 2 que nombras, en los benchmarks (tests de rendimiento) la 9600 es superior (bastante ademas) a la geforce fx 5200, que no es mas que una geforce 4 ti 4200 subida de vueltas.
Salu2