スタック オーバーフローのようなサイトでは、これまでに尋ねられたすべての質問に対して html ファイルが保持されていないと思います。代わりに、質問がクリックされるたびにサーバー側のコードがページを作成します(私はそう思います)。検索エンジンがスタック オーバーフローのすべての質問をインデックス化することは可能ですか? 検索エンジンがクロールできるように、質問ごとのページをディレクトリに保持する必要がありますか?
7 に答える
はい。検索エンジンは、動的に生成されたページを問題なくインデックス化できます。実際、検索エンジン ボットの観点からは、動的に生成されたページと静的なページを区別することさえできません。
公式 Google ウェブマスター セントラル ブログの動的 URL と静的 URLの投稿に興味があるかもしれません。
はい、完全に可能です。リンクをたどると、サーバーは他の Web ページと同じように HTML を返します。唯一の違いは、人ではなくサーバーが生成したことです。
クライアント (ブラウザーまたは検索エンジン) に関する限り、サーバー生成ページと静的ファイルの間に違いはありません。それらは事実上区別できません (ページの生成方法によっては、Last-Modified
ヘッダーが欠落している場合があります)。そのため、はい、検索エンジンは生成されたページを問題なくインデックスに登録できます。
とはいえ、彼らにヒントを与えるために言わなければならないことがあります。たとえば、サイトマップを使用すると、検索エンジンにすべてのページの適切なリストが表示されるため、ページを見逃す可能性が低くなります。さらに重要なことは、検索エンジンの注意を最近変更されたものに集中させるために、最終変更時刻を要約できることです。これは必須ではありませんが、ページが静的 HTML であるか生成されているかに関係なく役立ちます。
GET を使用するリンクは、ほとんどのクローラーがたどることができます。通常、POST を必要とするものはすべて無視されます。
ページを生成するメカニズムは関係ありません。
これがrobot.txtまたはメタタグによって制限されていない場合ははい.検索エンジンは通常のユーザーのようにWebページを要求し、誰もサーバー側のコードにアクセスできません(サイトがハッキングされていない場合))
検索エンジンは、クライアント側のコード (つまり、JavaScript) の背後に隠れていない、特定の Web ページ上のほとんどすべてを見ることができます。
したがって、このページを取得するためにブラウザのアドレス バーに入力できる URL があり、このページがどこかからリンクされている場合、検索エンジンはそれを見つけて、あなたと同じコンテンツを「表示」します。ページがサーバーによって動的に生成されたという事実は、検索エンジンには関係ありません。URL を要求したときにブラウザーに送信されるものは、依然として HTML ファイルにすぎないからです。
つまり、その HTML ファイルはサーバー上に同じ形式で存在するわけではありません。つまり、実際には HTML を生成するサーバー側のコードであり、静的な HTML ファイルではありません。ではなく、ブラウザのアドレス バーに表示されるドキュメント URL へのリンクです。