さまざまなウェブサーバーから、カタログに相当する静止画像コンテンツ（100万以上の画像、すべて合法）をダウンロードしています。
イメージを効率的にダウンロードしたいのですが、DOSツールやその他のリミッターによってブラックリストに登録されないように、同時接続の数と接続試行間の時間にドメインごとにどのような制限を設けるかを検討しています。
1 に答える
0
私が探す必要のあるキーワードは「webcrawlerpolitness」でした。これは、質問に非常によく答えるいくつかの有用な記事をポップアップしました。
http://blog.mischel.com/2011/12/20/writing-a-web-crawler-politeness/
于 2013-01-22T11:41:22.097 に答える