SI me dejo un robots.txt que solo pone
User-Agent: *
Crawl-delay: 20
Le he añadido más cosas a ese archivo yo ahora. He eliminado algunos plugins. Ya puedo acceder a la web pero por ejemplo ahora, entré en webmasters tool. Le di a la opcion de explorar como google bot y me da error, me pone esto:
HTTP/1.1 403 Forbidden
Date: Sat, 28 Jan 2012 18:46:46 GMT
Server: Apache mod_qos/9.69 mod_fcgid/2.3.6 mod_auth_passthrough/2.1 mod_bwlimited/1.4 FrontPage/5.0.2.2635
Content-Length: 486
Keep-Alive: timeout=5, max=75
Connection: Keep-Alive
Content-Type: text/html; charset=iso-8859-1
<!DOCTYPE HTML PUBLIC "-//IETF//DTD HTML 2.0//EN">
<html><head>
<title>403 Forbidden</title>
</head><body>
<h1>Forbidden</h1>
<p>You don't have permission to access /
on this server.</p>
<p>Additionally, a 403 Forbidden
error was encountered while trying to use an ErrorDocument to handle the request.</p>
<hr>
<address>Apache mod_qos/9.69 mod_fcgid/2.3.6 mod_auth_passthrough/2.1 mod_bwlimited/1.4 FrontPage/5.0.2.2635 Server at economia-eficiente.com Port 80</address>
</body></html>