Yo optaría por SMF, es mucho más configurable, y puedes crear un theme modificándolo todo sin problemas (todos los menús, páginas, etc).
Además instalar MODs es tan simple como en Joomla! (ir al panel de administración y seleccionar el archivo a instalar).
Pero la elección es tuya. Los themes de SMF son más "feos" que los de phpBB3, pero si vas a crear tú el theme te da igual.
Te paso una tabla comparativa entre SMF y phpBB. Es útil para ver las funciones que tienen y que no tienen.