Ya lo solucione, copio el código por si alguien también se le presenta un problema así:
Código:
$('.modal').on('hidden.bs.modal', function(){
$(this).find('form')[0].reset(); //para borrar todos los datos que tenga los input, textareas, select.
$("label.error").remove(); //lo utilice para borrar la etiqueta de error del jquery validate
});
Si pueden mover el tema a JavaScript se lo agradecería porque como dice kspr debería ir allí.
Saludos