私の Web ページには robots.txt があり、Google にインデックスさせたくないページをいくつか指定しました。Chrome と Google ツールバーは、私がアクセスしたページに関する情報を送信します。
robots.txt でブロックしたサイトを Google がインデックスすることをどこかで読みました。本当？詳細はどこで確認できますか?
質問する
130 次
1 に答える
0
http://blog.ineedhits.com/tips-advice/why-google-can-index-your-robotstxt-blocked-urls-12346715.html
サイトをクロールしたのは Google Chrome やツールバーではないようです。問題は、ブロックされているサイトに外部リンクが存在することでした。
于 2012-05-08T06:56:04.413 に答える