私はインターネット上の何十万もの他のサイトのプライバシーポリシーのレビューがあるサイトを作っています。その最初のコンテンツは、CommonCrawlの50億ページのWebダンプを実行し、すべてのプライバシーポリシーをスクリプトで分析して、特定の特性（「個人情報を販売する」など）を特定することに基づいています。
SEO MOZビギナーズガイドによると：
検索エンジンは、特定のページで約100のリンクのみをクロールする傾向があります。この緩い制限は、スパムを抑えてランキングを維持するために必要です。
私は、ページが孤立したままにならないナビゲーションのWebを作成するための賢い方法は何かと思っていましたが、それでも彼らが話すこのSEOペナルティを回避するでしょう。私はいくつかのアイデアを持っています：
- 「Ado*で始まるサイト」のようなアルファベット順のページ（またはGoogleサイトマップ.xml）を作成します。たとえば、そこに「Adobe.com」がリンクされます。これ、または他の意味のないページの分割は、一種の不自然なようであり、Googleがそれを気に入らないのではないかと思います。
- メタキーワードまたは説明を使用して分類する
- 地理的またはコンテンツベースなど、より興味深いカテゴリを適用する方法を見つけてください。ここでの私の懸念は、このようなカテゴリを非常に多くのサイトにどのように適用できるかわからないことです。必要に応じて、クロールからのページのコンテンツを分析するために別の分類子を作成できると思います。それ自体は大きな仕事のように聞こえますが。
- DMOZプロジェクトを使用して、ページの分類に役立ててください。
ウィキペディアとStackOverflowは、ユーザーがすべてのページを分類またはタグ付けできるようにすることで、この問題を明らかに非常にうまく解決しました。私の場合、そのような贅沢はありませんが、利用可能な最良のオプションを見つけたいと思います。
この質問の核となるのは、Googleがさまざまなナビゲーション構造にどのように対応するかです。プログラム的/無意味な方法でページのウェブを作成する人にペナルティを課しますか？それとも、すべてがリンクを介して接続されている限り、それは気になりませんか？