この質問を読んでコメントした後、GoogleやBingなどでサイトインデックスを維持するためのPHPライブラリを読んだ後、StackOverFlowのサイトマップを見てみたいと思いました。これは404エラーを返しました。これは、あなたがインデックスボットであるか、単に存在しないかを判断することにより、保護されたページにすぎないと推測しています。
次に、StackOverFlowのrobots.txtを確認します。「Yahooボットは悪だ」というコメントと、他の2つのインデックスボット（Spinn3rとKSCrawler）を見て驚いた。私はSpinn3rとKSCrawlerに慣れていませんが、私の質問は、なぜこれらのボット（特にYahoo）が悪と見なされるのかということです。確かに、検索エンジンのすべてのインデックス作成は良いことですか？