ここ SO に投稿された質問が Google にすぐに表示されるようになった理由を知っている人はいますか?
送信された質問が、最初の 10 エントリ程度 (質問を送信してから 30 分以内に最初のページに表示される) として表示されることがあります。教えてください、ここで使われている魔法は何ですか？
アイデアや提案はありますか? 私の最初の考えは、彼らのサイトマップに、GoogleロボットにN分ごとにトロールするように指示する情報があるということです-それは何が起こっているのですか?
ところで、Googlebot に N 分ごとにサイトをスキャンするように指示するだけでは、質の高い情報 (サイトで常に更新されている情報) がなければ機能しないことは承知しています。
SOが正しくやっていることが他にあるかどうか知りたいだけです（もちろん素晴らしいコンテンツは別として）
簡単に言うと、コンテンツの品質が高く、変更頻度の高い人気のある Web サイトは、Google のアルゴリズムで上位にランク付けされ、人気の低いサイトや変更頻度の低いサイトよりも頻繁にインデックス登録およびキャッシュされます。
大まかに言えば、それを行うのはコンテンツだけです。コンテンツのサイズと品質は、Google の「サイトが許す限りの速度でスパイダーを実行する」という基準に達しています。SO は Googlebot を積極的に抑制する必要があります。Jeff は Coding Horror で、Google から 1 日あたり 50,000 件以上のリクエストを受け取っていると述べていますが、それは 1 年以上前のことです。
Alexa のトップ 500 からニュース以外のサイトに目を通すと、ほとんどすべてのサイトで数分前の結果が Google に表示されていることがわかります。(つまり、site:archive.org を Google に入力し、左側のメニューで [最新] を選択します)
したがって、サイトへのトラフィック量を増やすことを除いて、スパイダーを高速化するために自分のサイトにできることは何もありません...
それは本当に簡単です。
SO は、世界に新しい情報を提供する PageRank 6 サイトです。
Google は、新しい情報に対して強い偏見を持っています。1 日に何度もサイトをクロールし、ページをすぐにインデックスに追加します。特定のクエリを短い期間 (数日間) 発話するためにページ (トップ 10) を優先し、その後、そのページの優先を停止して、通常どおりにランク付けします。
これは標準的な G 手順であり、多数のサイトで発生します。
ご想像のとおり、グレイハット/ブラックハット seo はその事実をさまざまな方法で利用しています。
また、RSS フィードを提供する SO のおかげで、Google は信頼できるソースからのフィードが好きだと思います。