私はクラスター コンピューティングに非常に慣れていないので、クラスター コンピューティングに使用されるさまざまなソフトウェアについて、また特定のタスクに最適なソフトウェアについてもっと知りたいと思っていました。特に、私が解決しようとしている問題には、1 人のマネージャーが数百から数千のジョブの作成を担当するマネージャー/ワーカー タイプのシナリオが含まれます。各ジョブは比較的大きいですが、小さなフレーム単位で実行する必要があります。つまり、マネージャーは各ジョブに「1 フレーム進めて、私に報告してください」と指示します。1 つのフレームの実行は非常に短いため、Manager とワーカー マシン間のレイテンシはマイクロ秒単位で非常に小さくする必要があります。
ありがとうございました！出発点として、私が説明したシナリオに完全に適合しないものであっても、あらゆる情報をいただければ幸いです。これまでに調査したのは、Hadoop、HTCondor、および Akka です。