私の robots.txt ファイルの内容は、実際にはそれ自体がインデックス化されており、Google の検索結果に表示されます。たとえば、Yahoo ではなく Google のみです。私のロボットファイルのコンテンツをインデックスに登録しない
ことをGoogleは理解すべきだと本当に思います。インデックスに登録しないものをGoogleに伝えるためだけにあるからです ここで何か不足していますか？
3040 次
4 に答える
2
それは正常です。私のも数ヶ月前にインデックスされました。クローラーの問題だと思います。編集:ところで、ウェブマスター ツールのウェブサイトでリンクを削除できます。
于 2011-11-08T10:17:11.497 に答える
1
robots.txt ファイル自体を禁止することはお勧めしません。代わりに、X-Robots-Tag http ヘッダーを noindex の値で使用して、検索エンジンがファイルをインデックス化するのを防ぐことができます。
これにより、robots.txt へのアクセスは許可されますが、検索結果には表示されなくなります。
于 2011-12-05T08:36:10.820 に答える
0
Disallow: /robots.txtrobots.txtに追加できます。robots.txt 自体がインデックスに登録されないようにする必要があると思います。
于 2011-11-08T10:19:46.113 に答える
0
自分の robots.txt ファイルを禁止すると (可能であれば)、そこに記述された他のすべてのコマンドもボットによって無視されるようになると思います。
于 2011-11-28T10:47:42.893 に答える