screen-scraping - Webサイトコンテンツのクロール

Question

IIS 6 Windows 2003でホストされているビジネスリストディレクトリがあります。競合他社は、コンテンツと顧客をクロールして盗みます。

ハニーポットURLとログ解析を使用してIPブロッキングを試しましたが、あまり成功しませんでした。この問題を最小限に抑えるためにWebサーバーの前で実行できるネットワークデバイスまたはプロキシサーバーを知っている人はいますか？

すべての提案は高く評価されています。

Answer 1

スパイダートラップを試すこともできますが、そのためのチェックを追加することもできます。

レートリミッターを追加して、特定のレートの後にCAPTCHAを解決するように強制することもできますが、通常のユーザーを困らせることもあります。

しかし実際には、あなたが作成したものはすべて、おそらく適応して回避することができます。あなたの最善は、Developer Artが言ったことだけかもしれません、そして弁護士を雇ってください。

Answer 2

データのページが多い場合は、訪問者のIPを監視し、特定のIPが1日にページのほんの一部しか表示しないことを確認できます。

最終的にあなたが望むのは矛盾です：あなたは人々にそれを彼らのコンピュータにダウンロードして欲しいです（今それを見るために）。しかし、あなたは彼らにそれを彼らのコンピュータにダウンロードさせたくありません（後でそれを見るために）。