私たちはWebスクレイパーを使用しており、ランダム機能が設定されたスリープ機能を持つように設定されています（各スクレイプ間で同じ時間にならないように）が、20〜30回のリクエストの後でもYahooからブロックされています.
制限があるかどうか知っている人はいますか (つまり、1 分あたり 20 リクエスト、1 時間あたり 200 リクエスト) 現在、各リクエスト間の平均は約 3 ～ 6 秒です。助けてくれてありがとう
2 に答える
0
したがって、答えは 5000 クエリです。から撮影
http://forums.digitalpoint.com/showthread.php?t=736784
http://開発者。ヤフー。com/search/rate.html
于 2010-04-21T23:50:52.880 に答える
0
3 ～ 6 秒ごとに 1 リクエストというのは非常に少ないため、クローラーに別の問題がある可能性があります。
いくつかのアイデア:
- User-Agent を疑わしくないものに設定します
- Referer ヘッダーを同じドメインに設定する
- 現在の IP がブラックリストに登録されている場合に備えて、別の IP からクローラーを実行してみてください
- クッキーを維持してみてください
Mechanizeのような高レベルのライブラリを使用すると、これはすべて簡単になります。
于 2010-04-21T06:10:02.063 に答える