Muchas gracias por su respuesta amigos, pude resolver mi problema de esta forma
Código:
function control(f){
var ext=['zip'];
var v=f.value.split('.').pop().toLowerCase();
for(var i=0,n;n=ext[i];i++){
if(n.toLowerCase()==v)
return
}
var t=f.cloneNode(true);
t.value='';
f.parentNode.replaceChild(t,f);
alert('Selecciona un archivo valido (.zip)');
}
y en el boton de esta forma
<input type="file" onchange="control(this)" size="60" name="subir" id="subir" />
saludos y gracias por la ayuda