Cita:
Iniciado por Juan Ca 
y la otra es la meta robots, ya que ahí decimos si queremos que los robots rastreen nuestro sitio y lo indexen o no
El meta robots sirve para cuando no queremos que indexen el sitio o que sigan sus enlaces. Pero si simplemente no ponemos esa etiqueta, el comportamiento de los robots va a ser indexar y seguir. Poner un meta robots "index,follow" es exactamente lo mismo que no poner nada.