Bueno, aqui te va un ejemplo de como puedes hacerlo:
<HTML>
<HEAD>
<script language="JavaScript">
function openScr(){
var msg = window.open('b.htm','');
msg.document.all.elframe.src = "c.html";
}
</script>
</HEAD>
<body >
<a href="#" onclick="openScr();">open</a>
</body>
</HTML>
estoy asumiendo que el iframe en b.htm tiene un ID="elframe"
saludos.