大量のデータ チャンクを並行して処理する分散パイプラインを設計しようとしています。セロリの採用に向けて動いていますが、要件の 1 つは、特定のジョブをクラスター内の特定のノードにマップできるようにする必要があることです。たとえば、特定のデータ チャンクにアクセスできるノードが 1 つしかない場合などです。
頭に浮かぶ最初の答えは、ノードの数が多い (最大 64) 場合に、複数のキュー (場合によってはノードごとに 1 つのキュー) です。これは実現可能で効率的ですか？セロリ キューは軽量ですか? より良い方法はありますか？