Hazlo todo como html5. Pero no ocupes etiquetas html5 si no las necesitas.
Básicamente usa el doctype de html5 y ya.
El Css3 lo puedes usar con html. O sea, no importa la "versión", pero el "problema" es exactamente por lo que dudas de usar o no el html5, ciertos navegadores. Pero lo mismo, el que pueda usar css3, que lo use... el que no, pues no y ya.
Revisa en las faq de arriba un par de scripts que te van a ayudar en esta "transición", principalmente modernizr.