a cual te refieres... al Outlook Express 6 el que viene por defecto con Windows o al Outlook 2003 que viene con el Office, el primero es la versión gratuita y básica del segundo.
que tipo de correos son los que te dan problemas, si es el primero (OE6) que recuerde solía tener ese tipo de problemas cuando se trataba de una conexión lenta y archivos pesados, aunque también podrías deberse a la cantidad de mensajes que tengas en la bandeja de entrada, prueba a compactarla.