Cita: Intente dimensionarlas con width y height de esta manera, pero me sale error:
<a href="http://www.google.com.ar/" target="mainFrame" onClick="window.open('botones.htm', 'width=160,height=120')">GOOGLE</a>
pídeselo así
<a href="http://www.google.com.ar/" target="mainFrame" onClick="window.open('botones.htm',
'', 'width=160,height=120')">GOOGLE</a>
Cita: También para hacer que queden las dos abiertas probé con: this.href, this.target, pero también me da error.
No sé si te entendí bien, pero prueba con self.focus()
Cita: Otra cosa es que el botón de volver no funciona, te aclaro por las dudas, ese botón debería traer al mainFrame el contenido anterior a cargar la página (sitio externo).

teóricamente lo que te dijo Javier es correcto...
opener.top.mainFrame.history.back()