私は自分のサーバーへのすべてのリクエストを追跡しており、ボット/クローラーが探しているものを台無しにするため、統計からボット/クローラーを除外したいと考えていました: Web ページへの人間による実際のトラフィックを参照してください。
そこにあるさまざまなリストを使用して HTTP_USER_AGENT ブラックリストの作成を開始しましたが、新しいボット/クローラーがポップアップし続けます-多くの場合、大規模なバーストです. それらを識別する良い方法が見つかりません。
反対の解決策は、有効な HTTP_USER_AGENT 文字列のホワイトリストを作成することですが、これにもいくつかの大きな欠点があります。
この問題に関するアイデアはありますか？