私はウェブマスターで、ブラウザの動作を制御する Watir ruby gem を試しています。
多くの開発者がテストに Watir を使用していることは知っていますが、Web サイトからコンテンツをスクレイピングするために Watir を使用していることも知っています。
ウェブマスターとして、そのような使用法を検出できますか? スクレーパーが Watir を使用していることも検出できますか?
また、どうすればWatirを停止できますか?
2 に答える
3
あなたのサイトにアクセスしているブラウザの背後に人間またはWatirスクリプトがあるかどうかを検出できるかどうかはわかりません。Watirは実際のブラウザーを駆動するため、ユーザーエージェントによるフィルタリングは役に立ちません。
トラフィックをリアルタイムで監視できるツールがあれば、同じIPへの大量のトラフィックによる画面のスクレイピングを検出できます。その後、（一時的に）IPをブロックできます。
現時点では、画面のスクレイピングをブロックする他の方法は考えられません。のようなファイルrobots.txtは単なる慣例であり、スクリプトはそれを無視できます。
于 2012-07-25T07:04:33.837 に答える
1
そのユーザーの使用状況を監視すると、誰かがサイトをスクレイピングしたかどうかを検出できる可能性があります。ユーザーが非常に高速に処理を行っている場合、それはおそらくロボットです。
ただし、スクレーパーが Watir またはその他のスクレイピング ツールを使用しているかどうかを検出することはできません。
于 2012-07-25T15:49:51.733 に答える