人間の (インタラクティブな) 訪問者から検索エンジンのクローラーやその他のボットを認識するためのスタンドアロンのサーバー側ソリューションを探しています。User-Agent:分析ベースのアルゴリズムを期待しています。このコンポーネントは、ASP.NET (MVC) Web サイトのボットまたは人間の訪問者からの要求を分類するために使用されます。人が当社の国際サイトにアクセスするAccept-Language:と、地理位置情報に基づいてローカライズされた Web サイトへの自動リダイレクトが実行されます。この動作は、検索クローラーが当社のサイトにアクセスするときに望ましくないものであり、リダイレクトされずにサイトをそのまま表示する必要があります。
これまでのところ、 thisやthisUser-Agent:などのボットの文字列のリストが見つかりました。ただし、これは単純な作業ですが、独自のコンポーネントを作成する代わりに、定期的な調査が必要な更新を処理することを避けるために、サード パーティ製のコンポーネントを使用することをお勧めします。
コンポーネントの要件:
- 純粋な .NET コンポーネント
- リクエスト処理のレイテンシを低く抑えるために、外部サービスに対して通常の外部呼び出しを行わない
- コンポーネント/その構成の更新サービス
User-Agent:代替手段:検査対象の文字列を受け入れる Web サービス。その後、結果はキャッシュされ、以降のリクエストの処理が高速化されます。この場合、IP ベースの地理位置情報サービスなどの追加の値がプラスになります。
商用オプションはOKです。他の何かのふりをしていない「正直な」ボットを認識することに限定しても問題ありません。