私が扱っている大規模なサイトでは、Google から 1 日に 80,000 件以上の 404 が不要な URL を受け取っています。彼らがどこから来ているのかわかりません。ここにいくつかのサンプルがあります。これらの URI はサイト構造のどこにも存在しないため、Gbot がそれらをクロールするように駆動している外部エージェント/サイトによって作成されていると想定しています。誰にもアイデアはありますか？
7/2/2013 22:05 /Sl/4watQCXBFtF6obwFRA0f35148b 10262 404 - リファラーが見つかりません Mozilla/5.0 (互換性あり; Googlebot/2.1; + http://www.google.com/bot.html )
2013 年 7 月 2 日 22:05 /PvDIs6AveH9tju3tETtWg045cb22d 10261 404 - リファラーが見つかりません Mozilla/5.0 (互換性あり; Googlebot/2.1; + http://www.google.com/bot.html )