No te recomiendo quitarlo.. hay algunas webs q sirven solo con Ie o Netscape, ademas habrian errores con el Msn, pero bueno = te digo...
Panel de Control | Agregar o Quitar Programas | Agrega o Quitar Componentes de Windows | Quitas la seleccion de IE, le das a Siguiente y list.