私たちのサイトは、存在しないページにアクセスしようとするリクエストを受信しています。通常、アドレスのスペルミスの場合のみです。正しいリンクは /Info/SiteMap.aspx ですが、悪いリクエストは /Inf/SiteMap.aspx で、「o」がありません。通常は、1 分間に 20 回連続でリクエストするなど、多くのリクエストがあります。すべて 404 をスローします。
インデックスロボットの問題ですか？または、誰かが私たちのサイトでギャップをテストしていますか?
経験やヒントはありますか？
はい、次のことを考慮してください。
リクエストを送信したホストの IP アドレス - それらが異なるが複数の IP である場合、Zombies を使用した分散型攻撃であると疑われる可能性があります。
. リクエストが同じソースから来ている場合は、リクエスト間の遅延を確認してください。一般に、クローラーはリクエスト間に極端に短い期間を使用しません。
割り出しロボット (クローラー) は、「総当たり」タイプの割り出しを実行しません。1 つのページからリンクを取得し、ページごとに再帰的にトラバースするだけです。したがって、この理由はインデックス作成ロボットではありません。
パターンがないか確認してください。連続した命名パターンなどを意味します。
例 : /Inf/SiteMap.aspx、/Infa/SiteMap.aspx、/Infb/SiteMap.aspx