もちろん、これは私が持っているものrobots.txtで、ベースディレクトリに配置されています：
User-Agent: *
Disallow: /foo/
しかし、その後、Google には のインデックスがありません/foo/が、何らかの理由で、まだ/foo/foo.phpGoogle にリンクとして表示されています。
どうして？何か間違ったことを書きましたか？他に何か書く必要がありますか？
質問する
82 次
2 に答える
3
サイトが公開された後に配置したときrobots.txt、Google は既にファイルをインデックスに登録できまし/foo/た。
Google ウェブマスター ツール- 削除リクエストを使用して、既にインデックスに登録されているファイルを削除できます。
于 2013-01-02T23:50:57.977 に答える
0
robots.txt は、ブロックされたページへのGoogleのリンクを妨げません。Google はブロックされたページをインデックスに登録しません (そのため、ページのタイトル、説明、スニペットは表示されません) が、ブロックされたページへのリンクが見つかった場合は、検索結果からリンクする可能性があります。
このリンクも禁止したい場合は、meta要素をrobotsとで使用できますnoindex。
于 2013-01-03T12:16:34.823 に答える