Hola *easy* el archivo robots.txt esta conformado por órdenes restrictivas ¿estamos de acuerdo? le sirve a los administardores de sitios para decirles a los crawlers o bots que áreas del sitio no debieran ser recorridas y, por lógica consecuencia, indexadas.
Si querés que cualquier bot recorra o indexe tu sitio, simplemente no le agregues ninguna línea: sólo contiene directivas restrictivas.
Cita: En algunos casos suele utilizarse en lugar de Disallow, la palabra Allow. Aunque por definición es correcta, es conveniente no utilizarla, puesto que las rutas omitidas se asumen que están permitidas por defecto, y algunos crawlers no entienden la palabra Allow.
<off-topic>
aunque de un tiempo a esta parte puede utilizarse robots.txt, además, para indicarle a los bots donde está alojado el sitemap.xml </off-topic>