A ver........
PHP es un lenguaje server-side, ose que se interpreta en el servidor web.
Entonces necesitas un servidor trabajando en tu maquina para poder ejecutar tus páginas *.*php
Ya tienes Linux (Apache+phpyMySQL trabajan de maravillas en este OS) Ahora debes instalar el Servidor Web, recomendado APACHE
www.apache.org, tambien debes obviamente instalar el interprete PHP
www.php.net y si quieres trabajar con bases de datos, que obviamente querras usar (este es el gran uso que la mayoria de los coders le dan a PHP) deberas instalar un servidor de Bases de datos REcomiendo MySQL
www.mysql.org, es la mas usada y la más compatible con PHP, puedes usar cualquier otro motor que tenga conexion ODBC pero preferible usar MySQL.
Una ves tengas todo instalado abre tu editor de texto favorito y has un
Código PHP:
<?
phpinfo();
?>
Y lo guardas como prueba.php dentro de la carpeta que pusiste en la directiva de tu servidor (en apache por defecto htdocs o www)
luego inicias tu servidor y pones en la barra de direcciones
http://localhost/prueba.php
Si ves informacion de tu version de PHP significa que todo trabaj bien.
Saludos