como modifico mi robots.txt

[nico16]

Hola gente soy nuevo en el foro, yo quisiera saber como puedo modificar mi robots.txt de mi pagina web pueda ser encontrada por los buscadores?? esta es mi paguina web: www.tucomunidad16.comlu.com

Y aca mi robots.txt de mi web al que quiero modificar:

User-Agent: *
Disallow: /Themes/default/languages/
Disallow: /Themes/default/
Disallow: /Smileys/
Disallow: /Themes/
Disallow: /Smileys/default/
Disallow: /index.php/
Disallow: /
Disallow: /logos/
Disallow: /web/
Disallow: /cpanel

bueno espero que me puedan ayudar.... desde ya gracias

[emprear]

nico16:

El robots.txt no tiene por función hacer que el buscador encuentre tu página, sino, una vez que la encontró, facilitarle el indexado, en función de tus preferencias.

con "disallow" lo único que conseguís es que el buscador se saltee dichas carpetas, que de acuerdo a su contenido, vos sabrás que te conviene indexar o no.
si querés mejorar el posicionamiento
1. La correcta confección de tu html
2. Utilizá la "herramienta para webmasters de Google" , es gratuíta y solo requiere una cuenta de gmail

saludos

[nico16]

buenoo, yo te queria decir cuando entro ahii en "herramienta para webmasters de Google" me dice eso

yo quisiera saber si estoy haciendo algo mal o que...si me puede decir cuales son los paso correcto....y tambien quisiera indexar solamente index.php como lo haria???
desde ya gracias :)


Saludos

[emprear]

nico16:

es un poco largo de explicar hay muchas opciones, la ayuda y todas las explicaciones te las dan ahi mismo, en Google y en Español.

El primer paso es agregar un sitio (que vos administres por supuesto), y google te va decir que tenes que verificar que sos el dueño, para eso te pasan un código que tenes que poner como un <meta> dentro del header, una vez que lo verifican, ya se te habilitan las opciones, entre ellas va a verificar como se lee tu robots.txt y además, quizás lo más importante es que agregues tu "SiteMap", los sitemaps pueden ser creados de muchas formas, incluso hay herramientas para crearlos Online. Pero podés hacer un sencillo archivo de texto llamado urllist.txt que contenga todas las urls que se vinculen a tus html, te doy un ejemplo de una de mis webs, http://luzdecielo.com , arriba de las banderitas, hay un link a un sitemap.html, que contiene los links a todas las página, esta es una variante, tambien esta la del txt como ya te dije, y tambien podés hacer un xml, que es un poquito mas complejo.

También te va a ayudar los siguientes pasos:

Agregar tu URL a Google --> http://www.google.com./addurl/?continue=/addurl

pero antes de eso, asegurate que ya no esté agregada, para eso, segui estos pasos http://www.blogodisea.com/como-saber...ogle/internet/


Ya con eso, vas a mejorar mucho, pero no es magia, hay que esperar que el robot de google llegue y te indexe la página, y después, obviamente que esta tenga muchas visitas, links en otros sitios (esto es fundamental). el problema sigue siendo, que al igual que vos y yo, otras tantas cientos de miles de personas, están haciendo lo mismo, vaya coincidencia.

Me parece que con lo dicho, ya tienes bastante con que entretenerte

Saludos

[nico16]

buenooo muchas gracias a tus respuesta ya me ponga hacer la cosas....gracias



saludos

[JavierB]

Hola nico16

Muevo tu tema al foro de Posicionamiento SEO desde Web general.

Saludos,

[nemesis866]

Hola nico, precisamente ayer estabamos hablando sobre enste tema, aqui te dejo el enlace y te ayudara a resolver tus dudas, saludos.

http://www.forosdelweb.com/f64/robot...ominio-845094/

y lo que a simple vista veo en tu robots.txt es que noinclulles la direccion de tu sitemap, otra cosa, tienes lo siguiente.-

Código robots.txt:

Disallow: /
 

Con esto le indicas a los robots que prácticamente no tienen acceso a tu sitio, eliminalo y al final coloca Allow: / asi le das acceso a todo tu sitio, claro con excepción de las carpetas que esten con disallow, no dejes espacios en blanco, si los encuentra el robot no sigue mas,

[nico16]

hola, bueno ahi modifique mi robots.txt :

http://www.tucomunidad16.comlu.com/sitemap.xml
User-Agent: *
Allow: /Themes/default/languages/
Allow: /Themes/default/
Allow: /Smileys/
Allow: /Themes/
Allow: /Smileys/default/
Allow: /index.php/
Allow: /logos/
Allow: /web/
Disallow: /cpanel
Allow: /

que decis asi esta bien o hace falta otra modificacion?


Saludos

[nemesis866]

solo falta un pequeño detalle, agrega esto ala linea donde esta el sitemap.-

Código robots.txt:

sitemap: htt://tusitio.com/sitemap.xml
 

agrega sitemap: y listo, con esto esta arreglado, saludos

[nico16]

bueno ya hize ese arreglo, pero cuando envio para la prueba me salta esto:



que sera? y cuando envie el Sitemap a google esta todo perfecto, URL enviadas 59 ,nose que sera...

Saludos

[nemesis866]

peron creo que me equivoque, cambia todo a disallown excepto la iltima opcion, quedaria asi.-

Código robots.txt:

Sitemap: http://www.tucomunidad16.comlu.com/sitemap.xml
User-Agent: *
Disallow: /Themes/default/languages/
Disallow: /Themes/default/
Disallow: /Smileys/
Disallow: /Themes/
Disallow: /Smileys/default/
Disallow: /index.php/
Disallow: /logos/
Disallow: /web/
Disallow: /cpanel
Allow: /
 

[emprear]

nemesis866:

te hago una correción

esa directiva Allow, no corresponde

Los robots, lo indexan todo, a menos que se lo prohibas, por lo tanto
todo estará "Allow" a menos que se lo nieges con un Disallow


Para ejemplos consultar http://www.robotstxt.org/robotstxt.html (está en inglés pero los ejemplos son muy claros)


Saludos

[nico16]

Iniciado por nemesis866

peron creo que me equivoque, cambia todo a disallown excepto la iltima opcion, quedaria asi.-

Código robots.txt:

Sitemap: http://www.tucomunidad16.comlu.com/sitemap.xml
User-Agent: *
Disallow: /Themes/default/languages/
Disallow: /Themes/default/
Disallow: /Smileys/
Disallow: /Themes/
Disallow: /Smileys/default/
Disallow: /index.php/
Disallow: /logos/
Disallow: /web/
Disallow: /cpanel
Allow: /
 

Perdon no entendi muy bien entonce no pongo eso? esta mal?Los robots, lo indexan todo?


Saludos

[nemesis866]

Iniciado por emprear

nemesis866:

te hago una correción

esa directiva Allow, no corresponde

Los robots, lo indexan todo, a menos que se lo prohibas, por lo tanto
todo estará "Allow" a menos que se lo nieges con un Disallow

Hola, muchas gracias por corregirme, tienes razon, de entrada los robot entran a un sitio para indexar todo, jaja

Nico no te preocupes utiliza el mismo codigo que te mande, solo elimina el allow: /.

Saludos

[nico16]

Hola, listo muchas gracias ya lo corregi, ahora solamente hay que espera que los robot indexa mi web o no ....

gracias....

saludos