たくさんのリクエストをいただいています。それらはすべてで始まります
/1.1/handlers/monodoc.ashx?link=
次に、.NET クラスのように見えるものが続きます。これらは何ですか?なぜ googlebot はそれらを要求するのですか?
アクセスログとエラーログが汚染されないように、オフにする必要があります。
1 に答える
1
Googlebot は、知っているすべての URL をリクエストします。これには、自分で生成していない可能性のある URL も含まれます。
たとえば、その URI を使用してサイトにリンクしているフォーラムがある場合、Googlebot はそのフォーラムをクロールして、インデックスに登録する価値のある情報があるかどうかを確認します。
提供された IP に基づいて、逆引き DNS ルックアップが「crawl-66-249-68-184.googlebot.com」に解決され、正引き DNS ルックアップが「crawl-66-249-68-184」に解決されるため、それが実際に Googlebot であることを確認しました。 .googlebot.com' は、提供された IP アドレスに解決されます。
そのページが存在しない場合は、404 または 410 応答で応答することができます。そこにあったコンテンツが何かわかっている場合は、他の人がそれらのページにリンクしていた場合に備えて、サイトの関連するページに 301 リダイレクトする必要があります...それらのリンクのリンククレジットを保持したいだけではありませんだけでなく、そのリンクをたどったユーザーのユーザー エクスペリエンスも向上します。ユーザーを 301 リダイレクトする適切な場所がない場合は、ユーザーをホームページにリダイレクトできますが、SEO の観点からは、リンクの関連性がおそらく正確に一致しないため、リンクの価値が低下することを知っておいてください。あなたのホームページのコンテンツ。
500 または 503 応答コードで応答していないことを必ず確認してください。5xx タイプのレスポンスが多数ある場合、Googlebot はサイトへのアクセスが多すぎると判断し、クロールを抑制します。
最後に、301、404、または 410 応答を送信したとしても、Googlebot がこれらの URL をしばらくの間 (たとえば、数年後) ヒットすることが予想されます。数週間ごとに、長い間死んでいたレガシー URI の Googlebot トラフィックのバーストを受信するサイトがあります。いくつかの古い無愛想な URL があり、Googlebot は時々それらに出くわし、それらを再クロールしようとします。彼らは、サイトに割り当てる追加の帯域幅があると感じたときにクロールしようとする履歴リストも保持しています.
TL;DR: 気にしないでください。Googlebot は正当な理由もなくこれらの URL にアクセスします。最高のユーザー エクスペリエンスとなる応答を送信するだけで問題ありません。
于 2011-11-04T05:34:15.807 に答える