Pues yo digo que la diferencia esta mas que nada en la forma en que se procesarán las variables. Probablemente te quede más claro con un ejemplo, ahí te va:
<?php
$variable = 'algo';
echo '$variable<br/>'; // se mostrará así tal cual
$variable
echo "$variable<br/>"; // se sustituira $variable x su valor y mostrará
algo
echo $variable; // igual que la anterior
?>
Espero haber sido claro. Suerte
