No sé que guía de instalación de Mysql estás siguiendo .. pero podrías ver esta:
http://www.maestrosdelweb.com/editorial/phpmysqlap/#3
(aunque menciona Mysql 4.0.x .. es válido tambièn para Mysql 3.x .. La versiòn de winmysqladmin.exe es lo de menos .. lo que te preguntaba es la versiòn de Mysql .. pues para Mysql 4.1.x se instala este como servicio y la cosa cambia.)
Un saludo,