Bloquear url Robots.txt

[Scape]

Hola, les escribo por que dudo a la hora de bloquear urls en robots.txt

Como se bloquerían

asi?

Disallow: http://www.miweb.com/license-opensource/
Disallow: /license-opensource/
Disallow: /license-opensource.html

Como es la mejor forma de hacerlo?

Gracias

[Usuarios466]

Cualquiera de esas dos formas es válida:

Disallow: /license-opensource/
Disallow: /license-opensource.html

Dependiendo si lo que quieres bloquear es una carpeta y todo lo que hay en ella, o solamente un archivo .html

[Scape]

Iniciado por Juan Carlos

Cualquiera de esas dos formas es válida:



Dependiendo si lo que quieres bloquear es una carpeta y todo lo que hay en ella, o solamente un archivo .html

Mi duda es que mis páginas no acaban en html como para ponerlo de la segunda manera y luego también es que prefiero ponerlo así /category/ para bloquear todas las páginas que contengan eso.

Sería correcto?

Gracias

[Usuarios466]

Sería correcto, de todas formas, échale un ojo a cómo bloquear páginas con un archivo robots.txt