無限スクロールを実装する Web サイトがあります。ユーザーがページの最後に到達すると、AJAX 呼び出しが行われ、新しいコンテンツがページの下部に添付されます。ただし、これは、最初の「改ページ」の後のすべてのコンテンツが検索クローラーによって到達できないことを意味します。たとえば、「インフォグラフィック」タグが付いたすべてのアイテムを一覧表示するページがあります。実際にはそのようなアイテムは数十ありますが、クローラーは最初の 10 個しか表示できません。他のアイテムは、ブラウザー ウィンドウに対するコンテンツの相対的な位置に基づいて読み込まれるからです。クローラーにはブラウザー ウィンドウがないため、新しいアイテムはまったく読み込まれません。
では、ユーザーが無限スクロールとページネーションの欠如を享受できるようにしながら、検索クローラーが無限スクロールを使用して Web ページの完全なコンテンツにアクセスできるようにする適切な方法は何でしょうか?