必要に応じて、scrapyd クラスターに新しいマシンを動的に追加し、マシンごとに N 個のインスタンスを使用して、scrapyd を水平方向にスケーリングするには、どのツールまたはツール セットを使用しますか。すべてのインスタンスが共通のジョブ キューを共有する必要はありませんが、それはすばらしいことです。
Scrapy-clusterは有望なようですが、Scrapyd ベースのソリューションが必要なので、他の代替案や提案に耳を傾けています。
必要に応じて、scrapyd クラスターに新しいマシンを動的に追加し、マシンごとに N 個のインスタンスを使用して、scrapyd を水平方向にスケーリングするには、どのツールまたはツール セットを使用しますか。すべてのインスタンスが共通のジョブ キューを共有する必要はありませんが、それはすばらしいことです。
Scrapy-clusterは有望なようですが、Scrapyd ベースのソリューションが必要なので、他の代替案や提案に耳を傾けています。