No he usado phpnuke pero tenia entendido que la version de phpbb que viene integrada con phpnuke es una versión modificada, por ende no creo que puedas usar la herramienta de update del phpbb3.
Deberias buscar información al respecto en algun foro dedicado a phpnuke.
EDIT 5mins despues: http://www.phpbb.com/community/viewt...?f=65&t=642955 encontre esto, te va servir para convertir la base de datos de tu phpbb2-phpnuke a phpbb3. Despues deberas buscar algun bridge o integracion para integrar phpnuke con phpbb3 (aunque te recomendaria que cambies de CMS, hoy en dia hay mejores alternativas que phpnuke)