web-crawler - ナッチのヒットレート制限

Question

ヒット率/IPアドレスを一気に制限することは可能ですか？つまり、1時間にIP x回だけヒットするようにnutchを構成できますか？

Answer 1

はい、nutch-default.xmlファイルのfetcher.server.delay、fetcher.server.min.delay、fetcher.threads.per.queue、fetcher.queue.modeの設定値を変更することでレートを制限できます。