0

この質問は非常に興味深いと思いました: Programmatic Bot Detection 非常によく似た質問がありますが、「行儀の悪いボット」については気にしません。

私は (Google アナリティクスに加えて) 訪問ごとに以下を追跡しています:

  • エントリーURL
  • リファラー
  • ユーザーエージェント
  • Adwords (クエリ文字列による)
  • ユーザーが購入したかどうか
  • 等

問題は、あらゆる種類のコンバージョン率を計算すると、多くの「ボット」訪問が発生し、結果が大きく歪められることです。

できるだけ多くのボットの訪問を無視したいのですが、あまり綿密に監視する必要がなく、それ自体がパフォーマンスを浪費せず、できれば誰かが JavaScript を無効にしている場合でも機能するソリューションが必要です。

トップ 100 程度のボットの公開リストはありますか? http://www.user-agents.org/でリストを見つけましたが、数千とは言わないまでも数百のボットが含まれているようです。何千ものリンクに対してすべてのリファラーをチェックしたくありません。

これが現在の googlebot UserAgent です。どのくらいの頻度で変更されますか?

 Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
4

2 に答える 2

1

robotstxt.orgからRobotsデータベースをインポートし、それを使用してそれらのユーザーエージェントからのリクエストを除外してみてください。User-agents.orgとそれほど変わらないかもしれませんが、少なくともrobotstxt.orgリストは「owner-submitted」です（おそらく）。

そのサイトはbotsvsbrowsers.comにもリンクしていますが、ダウンロード可能なバージョンのデータはすぐにはわかりません。

また、あなたは言った

何千ものリンクに対してすべてのリファラーをチェックしたくありません。

これは十分に公平ですが、実行時のパフォーマンスが懸念される場合は、すべてのリクエストを「ログに記録」し、後処理として（夜間のバッチとして、またはレポートクエリの一部として）除外します。

この点も私を少し混乱させます

誰かがjavascriptを無効にしている場合でも動作することが望ましいです。

提供するすべてのページの一部としてサーバー側にログを書き込んでいますか？この場合、javascriptは何の違いもありません（ただし、javascriptが無効になっているものはGoogle Analyticsを介して報告されません）。

psはrobotstxt.orgについて言及しましたが、行儀の良いロボットが/robots.txtWebサイトのルートから要求することを覚えておく価値があります。おそらく、その知識を活用することができます-除外したい可能性のあるロボットユーザーエージェントをログに記録/通知することで（ただし、通常のWebユーザーが/robots.txtを入力した場合にそのUAを自動的に除外することはありません）ブラウザ。コードが実際の人を無視する可能性があります）。私はそれが時間の経過とともにあまりにも多くのメンテナンスオーバーヘッドを引き起こすとは思わない...

于 2009-06-07T00:49:36.543 に答える
0

私が試みていたのとまったく逆のことをする方がおそらく実際には簡単であることに気付きました.

すなわち

select count(*) as count, useragent from sessionvisit 
where useragent not like '%firefox%' 
and useragent not like '%chrome%'
and useragent not like '%safari%'
and useragent not like '%msie%'
and useragent not like '%gecko%'
and useragent not like '%opera%'
group by useragent order by count desc

私が実際にやろうとしているのは、正確な変換率を取得することであり、ボットを除外するよりも(良くも悪くも)良いブラウザーを含める方が理にかなっているようです。

さらに、「ロボット」が購入した「セッション」を見つけた場合は、おそらく新しいブラウザー (クロムを考えてください) があることを意味します。現在、購入したロボットはありません。

于 2009-06-07T07:46:19.063 に答える