Para grabaciones de calidad se requiere equipo de calidad, seguramente por eso los resultados más aceptables han sido del reproductor Sony y muchos programas de edición de audio tienen la opción para remover/reducir ruido:
http://wiki.audacityteam.org/wiki/Noise_Removal
Grabar en la PC no es muy recomendable, mucho menos conectando un micrófono directamente. Podrías obtener resultados semi-profesionales con un buen micrófono (específico para voz) y una mecladora conectados a la PC por la línea de entrada, no la del mic.
Si no quieres invertir mucho dinero, hasta ahora tu mejor opción es el reproductor Sony y mucha paciencia para editar.