Lo que sucede es que ya estás dentro del modo php, por eso no puedes "volver a entrar" en modo php dentro de una cadena.
Para eso necesitas aprender a concatenar, o bien, imprimir por partes.
Usa tu sentido común.
Código PHP:
echo '<foo ';
if ($bar) echo ' candy ';
echo '>';