Eso es facil. primero le tienes que dar un nombre al iframe al que quieras que salgan los videos asi:
<IFRAME src="pagina.html" name="videos" width="alto" height="ancho" frameborder="0">
y entonces, desde los links, pondrias.
<a href="http://videos.com/video12.wmv" target="videos">Video12</a>
Salu2