La tipografía es una cosa y la fuente otra.
A mi personalmente no me gusta que cambie el tamaño de la fuente al cambiar la orientación del dispositivo. No le veo mucho sentido, porque tendría que ser el mismo tamaño ya que sigue siendo el mismo dispositivo. De hecho al cambiar la orientación lo que busco es tener más espacio para leer/ver, entonces si me cambian el tamaño me molesta porque no es lo esperado.
Bueno, y el código está cambiando el tamaño
1rem que,
a priori, parece mucho.
¿Tienes puesta la meta-etiqueta para el viewport?