以下のテキストは、sitemaps.org からのものです。クローラーが仕事をするのと比較して、それを行う利点は何ですか?
サイトマップは、ウェブマスターがクロール可能なサイトのページについて検索エンジンに知らせる簡単な方法です。最も単純な形式のサイトマップは、サイトの URL と、各 URL に関する追加のメタデータ (サイト内の他の URL と比較して、最終更新日、通常の変更頻度、重要度) をリストした XML ファイルです。 ) 検索エンジンがよりインテリジェントにサイトをクロールできるようにします。
編集 1: その機能の開発を正当化できるように、十分なメリットを得たいと考えています。現時点では、私たちのシステムはサイトマップを動的に提供していないため、クローラーを使用してサイトマップを作成する必要がありますが、これはあまり適切なプロセスではありません。
クローラーも「怠惰」なので、サイトのすべての URL を含むサイトマップをクローラーに提供すると、サイトのより多くのページをインデックスに登録する可能性が高くなります。
また、ページに優先順位を付ける機能も提供されるため、クローラーはページの変更頻度、更新を維持することがより重要なページなどを認識できるため、変更されていないページや、変更されているページがないページをクロールするのに時間を無駄にすることはありません。 、またはあまり気にしないページをインデックスに登録する（および欠落しているページ）。
サイト全体をクロールしてサイトマップを生成するために使用できるオンラインの自動 ツールもたくさんあります。サイトが大きすぎない場合 (数千未満の URL)、それらはうまく機能します。
サイトマップは、どのページがより重要で、どのくらいの頻度で更新されるかをクローラーに伝えるのに役立ちます。これは、ページ自体をスキャンするだけでは、実際には見つけられない情報です。
クローラーがサイトをスキャンするページ数と、リンクをたどる深さのレベルには制限があります。関連性の低いページが多数ある場合、同じページへの異なる URL が多数ある場合、またはアクセスするのに多くの手順が必要なページがある場合、クローラーは最も興味深いページに到達する前に停止します。サイト マップは、リンクをたどったり重複を整理したりすることなく、最も興味深いページを簡単に見つけるための別の方法を提供します。