No era necesario comprar un nuevo disco duro, te bastaba con haber creado distintas particiones en el que ya tenías. Yo tengo tres sistemas operativos instalados en un disco duro de 60 GB, y tranquilamente podrían haber sido más. De todos modos, si puedes tener más de un disco duro, pues mejor para tí.
El "programilla" al que te refieres es el gestor de arranque (en Linux se suelen usar LILO o GRUB), que al arrancar el ordenador, antes de ejecutar ningún sistema operativo, te preguntará cuál de los instalados quieres utilizar. Estos sistemas operativos pueden estar en el mismo disco duro, o en varios, no hay ningún problema por ello, siempre que el gestor de arranque esté debidamente configurado.
Cualquier distribución de Linux configurará automáticamente el gestor de arranque sin ninguna complicación, reconociendo el sistema operativo que ya tenías instalado, e introduciendo una entrada para el mismo en la lista de opciones.
Lo mejor que puedes hacer es buscar una distribución fácil de instalar (Mandrake, Fedora, Suse, Knoppix...), y leer la documentación que encontrarás en la web de la misma, que suele explicar de manera detallada el proceso de instalación. Una vez que tengas las cosas más o menos claras, ya podrás descargarte e instalar la distribución que hayas elegido.