asp.net - Web サイトでのボットの判別

Question

Web サイトのセキュリティのために、Web サイトでボットと人間の訪問者を区別する方法はありますか?

Answer 1

あまり。ボットがボットとして認識されることを望んでいる場合は、そうすることができます。例: Googlebot などの検索エンジン ボット。

しかし、ボットが自分自身を通常のブラウザであると識別するのは非常に簡単です。その後、あなたは立ち往生しています。

ボットのリストが必要な場合は、ここにアクセスしてください: http://www.robotstxt.org/db.html

Answer 2

これを行う唯一の方法はUser-Agent、現在のクライアントによって送信された HTTP 要求を確認することです。

一部のボットは、 GoogleBot (Googlebot、Mozilla/5.0) やBaidu Spiderなど、何も指定しないか、特定のものを指定します。

さまざまなボット、自動化されたスクリプト、またはブラウザーによって使用されるすべての既知のユーザー エージェントを一覧表示するuseragentstringによって維持されるリストもあります。