Una vez que te hayas mirado la pagina que te manda josemi y tengas el robots.txt a tu gusto puedes comprobar su sintaxis y que todo esta bien con esta utilidad :
http://www.searchengineworld.com/cgi-bin/robotcheck.cgi
Si tienes una web en html o asi no muy compleja lo mejor es no tener robots.txt para que los spiders entren cuando quieran y cacheen todo lo visble al publico.
Un saludo