Hay que encontrar un equilibrio entre diseño y optimizacion, dependiendo de los vistantes que vas a tener o tienes, solo hay que echar un vistazo a las estadisticas durante un par de meses.
Esta claro que siempre vas a tener mas visitas con Explorer que con Opera u otros, pero hay sitios en los que esa diferencia es mucho mayor que otros, y no se debe crear un 'club de amigos de Explorer'
y rechazar a cualquier otro que no lo use.
Todo esto, si hablamos de sitios no creados para clientes o empresas, porque ellos te van a exigir, que se vea bien en todos los navegadores, (que para muchos se resumen en Explorer y Netscape)
Un saludo.