Puedes usar comillas simples también o ponerle el \ dentro de las comillas dobles literales. Por ejemplo:
ERROR: echo "<a href="link">hola</a>";
Solución 1: echo '<a href="link">hola</a>';
Solución 2: echo '<a href='link'>hola</a>';
Solución 3: echo "<a href=\"link\">hola</a>";
Espero te sirva.