Hola, a mi me ha pasado este mismo problema varias veces.
Creo que la solución de JavierB es buena, pero es mejor esta otra
<a href="javascript
:;" onclick="window.open('http://www.google.com','ventanita','width=400,height=400' );return false">abrir</a>
(el caso es que ahora no recuerdo por qué, quizás algo de recarga de página cuando usaba el #
, pero me resolvió el problema mejor)
El
javascript: delante de window.open ya no hace falta, al ir en un onClick.
Y no sé si el
;return false es necesario, pero daño no hará.