yo haría algo así
Código HTML:
<script language="javascript">
function verifica(){
with(document.formRegister){
if(avyfile.value=="" && avyurl.value==""){
alert("debe seleccionar un avatar");
return false;
}
else
return true
}
}
</script>
<FORM name="formRegister" onsubmit="return verifica()">
<INPUT type="file" name="avyfile" value="" onClick="setAvatar('file')" />
<INPUT type="text" name="avyurl" value="" onClick="setAvatar('url')" />
...
</FORM>
espero y te de una idea.
saludos.