Hola Rafita-geta !
Eso es muy básico, únicamente tienes que utilizar imágenes por sustitución.
Estas son las imágenes en el caso de esta web:
Ahora create tu tus botones, y cuando los tengas vete a "Insertar" > "Objetos de Imágen" > "Imágen de Sustitución"
Espero que te haya servido.
Saludos...!!