Las características van directamente relacionadas con el número de usuarios que esperes
Te recomiendo darle una mirada a Wowza
http://www.wowzamedia.com es un excelente servidor de streaming que funciona tanto en Linux como Windows
En cuanto al hardware cualquier quad core decente debe ser más que suficiente a menos que estemos hablando de una gran cantidad de usuarios en línea.
Busca servidores con buen ancho de banda ya que streaming de video tiende a consumir una considerable cantidad.
Normalmente no necesitas una tarjeta de video en el servidor a menos que vayas a conectar la señal directamente al mismo, sino lo normal es un equipo equipado con una capturadora de video envía la señal al servidor y este la retrasmite a los usuarios
Espero te sirva !