Web サーバー上のいくつかのファイルの正確なダウンロード数を取得しようとしています。ユーザー エージェントを調べたところ、ボットまたは Web クローラーであることが明らかなものもありましたが、多くの場合、Web クローラーである場合とそうでない場合があり、多くのダウンロードを引き起こしていることがわかりません。
ユーザー エージェント、IP、動作などのドキュメントを含む既知の Web クローラーのリストはありますか?
私は、Google、Yahoo、または Microsoft のような公式のものには興味がありません。それらは一般的に行儀が良く、自己識別力があります。