El robots.txt no es para habilitar la indexación, ese comportamiento es el que usan los robots por default. La idea del robots.txt es precisamente la contraria, bloquear la indexación.
Si quieres que los robots como yahoo, bing, etc te indexen, no hay nada que hacer desde el robots.txt en ese sentido. De hecho, lo único que estás haciendo desde el robots.txt es bloquear al robot de AdSense las carpetas "cgi-bin", "carpetas" y "prohibidas", lo cual supongo que será algo que has copiado sin saber bien qué estabas haciendo...
Te recomiendo cambiar ese código por
para permitir que todos los bots puedan leer toda tu web, y que busques información para comprender mejor cómo funciona un
robots.txt.
un saludo,