Nunca e implementado algo asi pero e escuchado mucho sobre el tema en estos foros. Y recomiendan mucho PFSENSE que hasta donde e visto videos en Youtube se ve excelente y tambien te dejo este link, se ve bien y cubre lo que quieres
http://www.youtube.com/watch?v=4VJkL1ua794
Ahi mismos vienen recomendaciones hacia PFSENSE para que lo mires y te decidas.