0

Spring MVC の不動産リストを含むサイトに取り組んでいます。スクリプトがサイトをスクレイピングしてコンテンツを盗むのを防ぎたい。spring mvc 環境に簡単にプラグインできるテクニックの経験がある人はいますか?

ユーザー エージェントは単純すぎて回避できません。

私が思いついたアイデアの 1 つは、サーバー側で 2 つのカウンターを追跡することでした。ipaddress --> (カウンター xhr リクエスト、カウンター ページ リクエスト)

  • フィルターでカウンターページのリクエストを増やす
  • カウンター xhr リクエストは、ドキュメントの準備ができたときに増加します

2 つのカウンターが完全に同期していないことをフィルターが検出すると、その IP はブロックされます。

これはうまくいくでしょうか、それとももっと簡単なテクニックはありますか?

乾杯

編集

スクレーパーが永続的である場合、コンテンツを取得する方法を見つけることは承知しています。とはいえ、できるだけ難しくしたい。

4

3 に答える 3

0

完全に止めることはできませんが、可能な限り難しくすることはできます。

これを難しくする方法の 1 つは、URL に暗号化されたフラグを追加して、時間に基づいてコンテンツ URL を非常に頻繁に変更することです。

提案の一部は、指定されたリンクにあります。 http://blog.screen-scraper.com/2009/08/17/further-thoughts-on-hindering-screen-scraping/ http://www.hyperarts.com/blog/the-definitive-guide-to- blog-content-scraping-how-to-stop-it/

于 2013-06-15T04:25:20.173 に答える
0

ajax 経由でコンテンツをロードします。ajax リクエストを動的にして、ajax リクエストをスクレイピングすることができないようにします。

Java スクリプトの実行をサポートするのは、洗練されたスクレイパーだけです。

ほとんどのスクレーパーは実際のブラウザーを介してページを実行しないため、それを有利に利用することができます。

于 2013-06-15T10:48:46.330 に答える