Twitter があり、すべてのプロファイルを検索エンジンでインデックス化する必要があるとしましょう。Twitter はサイトマップをどのように処理しますか? ドメインの「正規表現」サイトマップのようなものはありますか、それともユーザーごとにサイトマップを再生成しますか?
あなたが知らないページ、つまり動的なページに対して、これはどのように機能しますか? たとえば、ウィキペディアを見てください。すべてが検索エンジンによってインデックス化されていることを確認するにはどうすればよいでしょうか?
ほとんどの場合、彼らはわざわざサイトマップを作成することはありません。
非常に動的なサイトの場合、サイトマップはあまり役に立ちません。Google がインデックスに登録するのはほんの一部であり、Google が再調査を検討する前にすべてが失敗した場合、大きな利益は得られません。
ゆっくりと変化するサイトの場合、これは異なります。サイトマップは、Google に、まだアクセスしていない可能性のある存在するサイトと、(さらに重要なことに) 変更されていないため再アクセスする必要がないサイトを知らせます。
しかし、このsitemap.xml
メカニズムは、Twitter などの巨大で非常に動的なサイトには対応していません。