ボットからのリクエストを（サーバー側で）検出したいと思います。現時点では、悪意のあるボットは気にしません。うまく機能しているものだけです。ユーザー エージェント文字列を「bot」などのキーワードと照合する方法がほとんどであるアプローチをいくつか見てきました。しかし、それはぎこちなく、不完全で、維持できないようです。それで、誰かがより堅実なアプローチを持っていますか？そうでない場合、すべての友好的なユーザー エージェントの最新情報を入手するために使用するリソースはありますか?
興味がある方のために: 私は検索エンジンのポリシーに反することをしようとしているわけではありません。サイトのセクションで、ページのわずかに異なるいくつかのバージョンのうちの 1 つがユーザーにランダムに表示されます。ただし、Web クローラーが検出された場合は、常に同じバージョンを提供して、インデックスの一貫性を保ちます。
また、私は Java を使用していますが、このアプローチはどのサーバー側テクノロジーでも似ていると思います。
「ボット」でユーザー エージェントを一致させるのは難しいかもしれませんが、かなり良い一致であることがわかりました。私たちの調査では、受信したヒットの約 98% をカバーすることが示されています。また、誤検知の一致もまだ見つかっていません。これを 99.9% まで上げたい場合は、「crawler」、「baiduspider」、「ia_archiver」、「curl」など、他のいくつかのよく知られた一致を含めることができます。これは、数百万を超える実稼働システムでテストされています。のヒット。
以下に、いくつかの C# ソリューションを示します。
ミスを処理するときは最速です。つまり、ボット以外の通常のユーザーからのトラフィックです。クローラーの 99% 以上をキャッチします。
bool iscrawler = Regex.IsMatch(Request.UserAgent, @"bot|crawler|baiduspider|80legs|ia_archiver|voyager|curl|wget|yahoo! slurp|mediapartners-google", RegexOptions.IgnoreCase);
ヒットを処理するときは最速です。つまり、ボットからのトラフィックです。ミスもかなり速い。クローラーをほぼ100%キャッチ。前もって「bot」、「crawler」、「spider」に一致します。他の既知のクローラーを追加できます。
List<string> Crawlers3 = new List<string>()
{
"bot","crawler","spider","80legs","baidu","yahoo! slurp","ia_archiver","mediapartners-google",
"lwp-trivial","nederland.zoek","ahoy","anthill","appie","arale","araneo","ariadne",
"atn_worldwide","atomz","bjaaland","ukonline","calif","combine","cosmos","cusco",
"cyberspyder","digger","grabber","downloadexpress","ecollector","ebiness","esculapio",
"esther","felix ide","hamahakki","kit-fireball","fouineur","freecrawl","desertrealm",
"gcreep","golem","griffon","gromit","gulliver","gulper","whowhere","havindex","hotwired",
"htdig","ingrid","informant","inspectorwww","iron33","teoma","ask jeeves","jeeves",
"image.kapsi.net","kdd-explorer","label-grabber","larbin","linkidator","linkwalker",
"lockon","marvin","mattie","mediafox","merzscope","nec-meshexplorer","udmsearch","moget",
"motor","muncher","muninn","muscatferret","mwdsearch","sharp-info-agent","webmechanic",
"netscoop","newscan-online","objectssearch","orbsearch","packrat","pageboy","parasite",
"patric","pegasus","phpdig","piltdownman","pimptrain","plumtreewebaccessor","getterrobo-plus",
"raven","roadrunner","robbie","robocrawl","robofox","webbandit","scooter","search-au",
"searchprocess","senrigan","shagseeker","site valet","skymob","slurp","snooper","speedy",
"curl_image_client","suke","www.sygol.com","tach_bw","templeton","titin","topiclink","udmsearch",
"urlck","valkyrie libwww-perl","verticrawl","victoria","webscout","voyager","crawlpaper",
"webcatcher","t-h-u-n-d-e-r-s-t-o-n-e","webmoose","pagesinventory","webquest","webreaper",
"webwalker","winona","occam","robi","fdse","jobo","rhcs","gazz","dwcp","yeti","fido","wlm",
"wolp","wwwc","xget","legs","curl","webs","wget","sift","cmc"
};
string ua = Request.UserAgent.ToLower();
bool iscrawler = Crawlers3.Exists(x => ua.Contains(x));
かなり高速ですが、オプション 1 および 2 よりも少し遅くなります。これは最も正確であり、必要に応じてリストを維持できます。将来の誤検知が心配な場合は、「ボット」を含む名前の別のリストを維持できます。短い一致が得られた場合は、それをログに記録し、誤検出がないかどうかを確認します。
// crawlers that have 'bot' in their useragent
List<string> Crawlers1 = new List<string>()
{
"googlebot","bingbot","yandexbot","ahrefsbot","msnbot","linkedinbot","exabot","compspybot",
"yesupbot","paperlibot","tweetmemebot","semrushbot","gigabot","voilabot","adsbot-google",
"botlink","alkalinebot","araybot","undrip bot","borg-bot","boxseabot","yodaobot","admedia bot",
"ezooms.bot","confuzzledbot","coolbot","internet cruiser robot","yolinkbot","diibot","musobot",
"dragonbot","elfinbot","wikiobot","twitterbot","contextad bot","hambot","iajabot","news bot",
"irobot","socialradarbot","ko_yappo_robot","skimbot","psbot","rixbot","seznambot","careerbot",
"simbot","solbot","mail.ru_bot","spiderbot","blekkobot","bitlybot","techbot","void-bot",
"vwbot_k","diffbot","friendfeedbot","archive.org_bot","woriobot","crystalsemanticsbot","wepbot",
"spbot","tweetedtimes bot","mj12bot","who.is bot","psbot","robot","jbot","bbot","bot"
};
// crawlers that don't have 'bot' in their useragent
List<string> Crawlers2 = new List<string>()
{
"baiduspider","80legs","baidu","yahoo! slurp","ia_archiver","mediapartners-google","lwp-trivial",
"nederland.zoek","ahoy","anthill","appie","arale","araneo","ariadne","atn_worldwide","atomz",
"bjaaland","ukonline","bspider","calif","christcrawler","combine","cosmos","cusco","cyberspyder",
"cydralspider","digger","grabber","downloadexpress","ecollector","ebiness","esculapio","esther",
"fastcrawler","felix ide","hamahakki","kit-fireball","fouineur","freecrawl","desertrealm",
"gammaspider","gcreep","golem","griffon","gromit","gulliver","gulper","whowhere","portalbspider",
"havindex","hotwired","htdig","ingrid","informant","infospiders","inspectorwww","iron33",
"jcrawler","teoma","ask jeeves","jeeves","image.kapsi.net","kdd-explorer","label-grabber",
"larbin","linkidator","linkwalker","lockon","logo_gif_crawler","marvin","mattie","mediafox",
"merzscope","nec-meshexplorer","mindcrawler","udmsearch","moget","motor","muncher","muninn",
"muscatferret","mwdsearch","sharp-info-agent","webmechanic","netscoop","newscan-online",
"objectssearch","orbsearch","packrat","pageboy","parasite","patric","pegasus","perlcrawler",
"phpdig","piltdownman","pimptrain","pjspider","plumtreewebaccessor","getterrobo-plus","raven",
"roadrunner","robbie","robocrawl","robofox","webbandit","scooter","search-au","searchprocess",
"senrigan","shagseeker","site valet","skymob","slcrawler","slurp","snooper","speedy",
"spider_monkey","spiderline","curl_image_client","suke","www.sygol.com","tach_bw","templeton",
"titin","topiclink","udmsearch","urlck","valkyrie libwww-perl","verticrawl","victoria",
"webscout","voyager","crawlpaper","wapspider","webcatcher","t-h-u-n-d-e-r-s-t-o-n-e",
"webmoose","pagesinventory","webquest","webreaper","webspider","webwalker","winona","occam",
"robi","fdse","jobo","rhcs","gazz","dwcp","yeti","crawler","fido","wlm","wolp","wwwc","xget",
"legs","curl","webs","wget","sift","cmc"
};
string ua = Request.UserAgent.ToLower();
string match = null;
if (ua.Contains("bot")) match = Crawlers1.FirstOrDefault(x => ua.Contains(x));
else match = Crawlers2.FirstOrDefault(x => ua.Contains(x));
if (match != null && match.Length < 5) Log("Possible new crawler found: ", ua);
bool iscrawler = match != null;
ノート：
ハニーポット
これに代わる唯一の現実的な方法は、ボットだけが到達する「ハニーポット」リンクをサイトに作成することです。次に、ハニーポット ページにヒットしたユーザー エージェント文字列をデータベースに記録します。これらのログに記録された文字列を使用して、クローラーを分類できます。
Postives:自分自身を宣言していない未知のクローラーと一致します。
Negatives:すべてのクローラーがサイトのすべてのリンクをヒットするほど深く掘り下げるわけではないため、ハニーポットに到達しない場合があります。
robotstxt.org Robots Databaseで、既知の「優れた」Web クローラーに関する非常に完全なデータ データベースを見つけることができます。このデータを利用することは、ユーザー エージェントでボットを照合するよりもはるかに効果的です。
1 つの提案は、ボットだけがたどる空のアンカーをページに作成することです。通常のユーザーにはリンクが表示されず、スパイダーやボットがたどるしかありません。たとえば、サブフォルダーを指す空のアンカー タグは、ログに get 要求を記録します...
<a href="dontfollowme.aspx"></a>
ハニーポットの実行中に多くの人がこの方法を使用して、robots.txt ファイルをフォローしていない悪意のあるボットを捕まえます。私が作成したASP.NET ハニーポット ソリューションで空のアンカー メソッドを使用して、これらの不気味なクローラーをトラップしてブロックします...
エントリ ページが /robots.txt である訪問者は、おそらくボットです。
このような簡単で汚いものは良いスタートかもしれません:
return if request.user_agent =~ /googlebot|msnbot|baidu|curl|wget|Mediapartners-Google|slurp|ia_archiver|Gigabot|libwww-perl|lwp-trivial/i
注: Rails コードですが、通常は正規表現が適用されます。
大部分のボットが robots.txt を使用していないことは確かですが、それが私の最初の考えでした。
ボットを検出する最良の方法は、リクエスト間の時間が一貫して速い場合、ボットであると思われます。