私が探しているのは、次のいずれか/すべてです。
...そして車輪の再発明をしたくありません。
C++ ライブラリ、bash スクリプト、スタンドアロン プログラムなど、すべて大歓迎です。
ソフトウェアの例を挙げるなら、上記の機能のうち、どのようなものか教えてください。
C/C++ グループ通信システムであるSpread Toolkitを調べてください。これにより、ノード/プロセスの障害と回復/起動を検出し、分散されたワークロードのバランスを取り直すことができます。
あなたが探しているのは「ジョブスケジューラ」と呼ばれています。市場には多くのジョブスケジューラがありますが、これらは私がよく知っているものです。
メッセージパッシングをサポートするには、MPI仕様を参照してください。SGEは、MPIベースの配布を完全にサポートします。
アプリケーションの要件に応じて、BOINC インフラストラクチャをチェックアウトします。彼らは最新のリリースでクライアント/サーバー通信の形式を実装していますが、どの形式の通信が必要かは明確ではありません。彼らの API は C で書かれており、C++ で非常に簡単にラッパーを作成しました。
BOINC のもう 1 つの利点は、SETI や Rosetta@Home などの大規模な分散コンピューティング プロジェクトに対応できるように設計されているため、検証、ジョブの分散、さまざまなプラットフォームのさまざまなアプリケーション バージョンの管理などをサポートすることです。
リンクは次のとおりです。
Hadoopがあります。Map Reduce がありますが、他に必要な機能があるかどうかはわかりません。誰か知ってる？
あなたは確かに「ジョブスケジューラ」を探しています。ノードは、ジョブ スケジューラに「静的に」登録されます。これにより、ジョブ スケジューラはノードを検査し、コア数、RAM、使用可能なスクラッチ ディスク容量、OS などを判断できます。そのすべての情報を使用して、ジョブに必要なリソースを選択できます。
ジョブ スケジューラは、クラスターの基本的な状態監視も提供します。ダウンしているノードは、使用可能なノードのリストから自動的に削除されます。(スケジューラーを介して) ジョブを実行しているノードも、使用可能なノードのリストから削除されます。
SLURMは、検討するリソース マネージャーおよびジョブ スケジューラです。SLURM には、LSF と PBSPro の統合フックがあります。いくつかの MPI 実装は「SLURM 対応」であり、SLURM によって割り当てられたノードで MPI ジョブを実行できるようにする環境変数を使用または設定できます。