No sé nada sobre éste tema porque nunca he hecho nada parecido... Pero vamos, parece ser que
Icecast.org es compatible con shoutcast... y ¡además es libre!
También he encontrado
éste tutorial en el que se explica cómo hacer lo que pides con Icecast.org.
Saludos.