Hola:
Tal como lo has puesto esta última vez, te puedo asegurar que se abre en el popup...
Aunque estoy "casi" seguro de que sabes bien lo que haces (te he leído en muchas ocasiones...) no tendrás otro enlace u otro script anidado...
¿Puedes subir una página de prueba para chequearlo...?
Sobre return false... cancela el link ya sea en la página principal, o habiendo definido un target
Saludos
