Buenas,
el primer trozo de código que muestras estaría incluido en una hoja de estilos y en los ficheros css uno de los usos de la barra invertida es en combinación con un máximo de 6 caracteres hexadecimales para representar cualquier caracter o símbolo incluido en unicode. Pero en los ficheros html esto no es así ya que su contenido principalmente es texto (aunque pueda haber también imágenes y otros recursos) y lo que escribas entre una etiqueta <p></p>será lo que se muestre en el navegador, por eso es lógico que ocurra lo que dices.
Para escapar caracteres o escribir otros como por ejemplo el que mencionas, en ficheros html se usan las referencias de entidades de caracteres como por ejemplo á para la á (a acentuada) o < para el símbolo de menor que (<) que son reconocidas por todos los navegadores y para el resto de caracteres unicode que no tienen una entidad de caracter definida, se usan las referencias numéricas, que comienzan por &# y terminan por punto y coma (;) y los números pueden ser decimales o hexadecimales (añadiendo una X delante del numero si son en hexadecimal) es decir, que &# 10003; (sin el espacio) sería lo mismo que ✓