Es la etiqueta <figcaption> ...</figcaption> la que te hace eso, osea, el título abajo, a ver, cuando insertas una imagen en el editor te crea un
shortcode con la etiqueta [caption]... [/caption], con una serie de parámetros allí.
Dependiendo del theme que uses, o de la versión de Wordpress, te creará un código html parecido a este:
Entonces, lo que creo que tendrías que hacer es meterle mano al css que tienes y acomodarlo a tu gusto, por ejemplo, puedes aplicarle un display: none a figcaption para que no se vea. Lo otro es no ponerlo y punto, cuando agregas la imagen hay unos campos allí donde pones el title, el figcaption, etc...
Y en cuanto a que te sale un solo botoncito de agregar objeto, es porque estás usando Wordpress 3.3
Saludos.