robots.txt - robots.txt でディレクトリをブロックしても、その内容がまだ表示されるのはなぜですか?

Question

もちろん、これは私が持っているものrobots.txtで、ベースディレクトリに配置されています：

User-Agent: *
Disallow: /foo/

しかし、その後、Google には のインデックスがありません/foo/が、何らかの理由で、まだ/foo/foo.phpGoogle にリンクとして表示されています。

どうして？何か間違ったことを書きましたか？他に何か書く必要がありますか？

Answer 1

サイトが公開された後に配置したときrobots.txt、Google は既にファイルをインデックスに登録できまし/foo/た。

Google ウェブマスター ツール- 削除リクエストを使用して、既にインデックスに登録されているファイルを削除できます。

Answer 2

robots.txt は、ブロックされたページへのGoogleのリンクを妨げません。Google はブロックされたページをインデックスに登録しません (そのため、ページのタイトル、説明、スニペットは表示されません) が、ブロックされたページへのリンクが見つかった場合は、検索結果からリンクする可能性があります。

このリンクも禁止したい場合は、meta要素をrobotsとで使用できますnoindex。