www.php.net/language.types.string
La diferencia está que con comillas dobles te interpreta ciertos valores espaciales, como \n (salto de línea), \t (tabulación) y demás que verás en la tabla del enlace que dejo.
Las comillas simples no interpretan NADA. Todo entre comillas simples es un string tal cual está. Tú último ejemplo de tu primer bloque de código es erróneo, pues el valor de la variable no será interpretado.
¿Qué por qué la utilización de la barra invertida?. Si una cadena está delimitada por comillas, habiendo una comilla en medio, ¿cómo el parser sabrá que no es la que limita la cadena?. La barra invertida es para escapar esa comilla del parser; decir que forma parte de la cadena, no de la sintaxis del idioma.
¿Qué cuál utilizar?; La que mejor te acomode, aunque hay algunos estándares en los que quizá quieras seguir --sería muy bueno--, como, por ejemplo, el de Zend Framework:
http://framework.zend.com/manual/en/...-style.strings