Cuando Google dice que insertes el código en cada una de tus páginas, te está indicando que debe ir en cada una de las páginas que deseas sean analizadas por ese sistema. Lo que Google no sabe es si tu sitio es estático, dinámico, modular, etc...
Por suerte, Wordpress es un sistema que trabaja por módulos, osea, cada uno de los archivos de tu theme son módulos del mismo, por ende, header.php es el módulo encargado de mostrar la cabecera de tu sitio, así como sidebar.php, footer.php, single.php, etc...
header.php se mostrará en todas las páginas de tu web, pues son generadas dinámicamente, entonces, con solo poner el código de GAnalytics en tu archivo header.php, justo encima de la etiqueta <head> es suficiente.
Espero te sirva la explicación. Saludos
