No creo que debas culpar a I.E de que tu código se vea mal... .
Lo que dices de que se ve bien a la tercera vez que refrescas debe ser problema del caché del navegador.
Deberías leerte algún buen manual de html y no dejar de practicar.
Y un par de consejos viendo tu código,
-Nunca hagas una lista de elementos con saltos de linea<br>, utiliza <ul><li></li></ul>
-La maquetación de elementos con float no es una buena practica.
-En vez de poner 4 paddings puedes ponerlo así padding:1px 2px 1px 2px;
un saludo