La declaración para robots, tanto con el TAG en HTML como a nivel robots.txt son directivas; de ninguna manera son restricciones de acceso.
De hecho no evita que Google lo rastree y hasta incluya las URLs en los índices. De la misma forma, no evita que el sitio/página esté abierto al público y cualquiera tenga libre acceso.
Una buena práctica—si el servidor corre Apache—es permitir el acceso sólo mediante la declaración de un password:
Password Protect a Directory Using .htaccess [tutorial en inglés]