web-crawler - 一連のURLをクロールしないようにGoogleに指示するにはどうすればよいですか

Question

アプリケーションの特定のURLにクロールするためにGoogleを停止するにはどうすればよいですか？

例：Googleがで始まるすべてのURLのクロールを停止するようにしたいhttp://www.myhost-test.com/

robot.txtに何を追加する必要がありますか？

Answer 1

答えはここで直接見つけることができます：

http://support.google.com/webmasters/bin/answer.py?hl=ja&answer=156449

しかし、「許可しない」とあなたのURLを追加したようです。