Usando em

[kseso?]

Esa es la razón de ser de esa unidad.
Es tomar como base de cálculo del tamaño del texto el mismo que el usuario haya definido en sus preferencias en el navegador.
Habrá quien defina 12px, otro 16px ... y quienes no lo hayan tocado.
Los navegadores por defecto vienen con ese valor ya definido. Pero no tiene porqué ser el mismo. De hecho no lo es, así como cambia entre las distintas familia tipográficas (monospace, serif...) en el mismo navegador.

Quienes no han pillado esa razón de ser de em, o los tramposos, los flojos y demás, suelen paliar sus carencias destrozando esa filosofía de respeto al usuario incluyendo en algún momento, generalmente en el body, una declaración estableciendo el valor base de em y a tomar por culo las necesidades/preferencias del usuario.

Hace un tiempo algunos de esos listillos-incompetentes se escudaban para hacer esa mala práctica en las variaciones acumulativas derivadas de las herencias.
Pero hasta eso quedó solucionado con la evolución del valor em al rem.
Que es lo mismo, sólo que toma como valor de cálculo no el tamaño de la fuente computado del ancestro en cada elemento, sino siempre el del elemento raiz, que debería ser el declarado por el usuario en sus preferencias.