Debes crear una function ELEMENT_validate()
En tu caso:
Código PHP:
Ver originalfunction mymodule_upload_validate($form, &$form_state) {
$file = $form_state['values']['FIELDNAME'];
if (CONDITION == FALSE){
form_set_error('FIELDNAME', t('Error message'));
}
}
http://api.drupal.org/api/drupal/dev...ement_validate
Si descargas el modulo Examples hay uno bastante simple para tomar de referencia.
http://drupal.org/project/examples