PHP y Apache son multiplataforma, ambos los podes conseguir en su web oficial
Binarios de Apache. Para windows, podes utilizar Apache 1.x o la 2.x. La diferencia entre uno y el otro es que la 2.x tiene una consola donde podes iniciar o detener el servicio (un icono). En la 1.x, tenes que hacerlo a modo comando. Ambas son estables pero la gente le tiene más fe a la 1.x por que es la que está más probada.
PHP. Ahi podes bajar la 4.x o la 5.x, esa es tu decisión. Para configurarlo como módulo de apache, poder revisar este documento
Apache + PHP + MySql + PhpMyAdmin como módulo de Apache.
En mi caso te explico que donde trabajo, tengo XP con PHP5, Apache 2.x y MySQL 4.1. Hago algunas cosas ahi ya que no se mucho, para luego pasarlo a un Linux SuSe 9.2 con Apache 1.x, PHP 4 y MySQL 4.0. El pase es completamente transparente. Para Linux no bajo nada, la mayoría de distribuciones traen ya entre sus paquetes Apache, PHP y MySQL.