python - 実行中のスパイダーの数を変更する

Question

私のプロジェクトには約50個のスパイダーがあり、現在scrapydサーバーを介してそれらを実行しています。使用しているリソースの一部がロックされ、スパイダーが失敗したり、非常に遅くなるという問題が発生しています。私は、scrapyd に一度に実行中のスパイダーを 1 つだけにして、残りを保留中のキューに残すように指示する方法があることを望んでいました。ドキュメントには、このための構成オプションがありませんでした。どんな助けでも大歓迎です！

Answer 1

これは、scrapyd の設定で制御できます。max_procに設定1:

max_proc

開始される同時 Scrapy プロセスの最大数。