El ISA te debería servir.
¿Si diría que es robusto?... Diría que es... utilizado porque es el de Microsoft. Diría que no es malo. Diría que para hacer las cuatro cosillas básicas es simple de configurar... Diría que es menos robusto,flexible, potente y más caro en términos de rendimiento, recursos y, obviamente, licencias, que una solución basada en Linux u OpenBSD.
Pero si no dominas los sistemas *NIX, ni quieres meterte con ellos, tus opciones se reducen, la verdad...
Los ataques que comentas son propios del firewall. Lo que tratan es de parar ataques muy antiguos a nivel de pila TCP/IP, casi todos, o de icmp flooding, syn flooding, etc... Prácticamente todos los firewall full state, bien configurados, te protegerán de éstos (incluso muchos kernells ya viene protegidos "por defecto" contra muchos de estos ataques...
Un IDS es algo complejo de montar, configurar y administrar. Solo depurar falsos positivos te llevará tiempo... Además, dependerá del número de sensores que quieres tener (puedes tener varios, aunque los monitorices todos desde un punto). Si tienes un único sensor IDS, es algo más fácil, pero sigue teniendo su carga de trabajo y de afinamiento.
Generalmente, lo que consigues con un IDS es reconocer si alguien está intentando algún tipo de ataque conocido contra ti (la máquian en la que está el sensor)... Luego debes actuar usando otras herramientas (denegando su tráfico con un firewall, por ejemplo)... Vamos, lo que hace si está bien configurado es avisarte de que algo ocurre...
De todas formas, en una red grande tendrás cientos (o miles) de avisos, dado que hay miles de scans, po rejemplo, de puertos constantemente en Internet... Y un montón de intentos de ataque por diccionario, pro ejemplo, en cuanto ven un puerto abierto que permite autenticación... Y muchas más cosas.
Yo no me liaría con un IDS de momento, la verdad... Salvo que lo tengas muy claro.
En cuanto al tema del DHCP + IPSEC, es posible que requiera algo de "tweeking"... Vamos, de retocar... Sé que hay algunos problemas (en mi caso me encontré con que el DHCP no tenía claro por qué interfaz debía atender y/o enviar los broadcasts, si por eth0 o ipsec0... Pero no fué en un Windows :) ). Echa un ojo a lo que comenta Microsoft sobre el tema (creo que tiene varios)... Un acceso rápido a google arroja este, por ejemplo:
http://technet.microsoft.com/es-es/l...8WS.10%29.aspx