Buenos días de verdad que he intentado alclarame con el tema pero me parece que no lo acabo de ver claro a ver si me ayudais un poco...
La estructura de la web que estoy terminando es:
Pagínas visibles al usuario | Páginas no visibles codigo fuente.
.PHP
include(*.html) --------------------->(archivos .html)
Y como página inicial un index.html visible a todos los usuarios...
Bien.. Sólo quiero que me indexe las .php, he montado un sitemap.xml y un robots.txt y lo que he hecho según lo que he entendido es:
montar en todas las .html los siguientes metas:
<TITLE>Mi título</TITLE>
<META name="description" content="Mi descripcion...">
<META name="keywords" content="mis keywors....">
<META name="language" content="es">
<META name="revisit-after" content="1 Days">
<META name="rating" content="General">
<META name="author" content="yo mismo">
<META name="owner" content="mi propietario">
<META name="robots" content="All">
<META name="robot" content="noindex,follow">
<META http-equiv="content-language" content="es">
<META http-equiv="Pragma" content="no-cache">
<META http-equiv="Expires" content="-1" >
<META http-equiv="Cache-Control" content="no-cache">
<META http-equiv="Content-Type" content="text/html; charset=iso-8859-1">
Todas las páginas .html sólo tiene links a las páginas .php es por eso la idea de poner noindex,follow, ahora el problema viene en como le especifico en el php las keywords... sí puede poner código html en el php con los metas y
index,follow pero al contener un include no se si me estará haciendo el index del html que incluye o de que...
Saludos y gracias...!