ネットワークに接続されたサーバーのクラスター上で実行される何千ものシミュレーションのジョブ配列を作成します。これらのサーバーはすべてローカル ディスクを持ち、NFS ディスク ドライブに接続されています。
次の方法で動作するサーバー間で分散できるデータベースはありますか。
- ジョブ配列を送信すると、個々のサーバーで実行されている個々のジョブが分散 DB に結果を送信します。
- ジョブ配列がまだ実行されている間、ユーザーは DB から部分的な要約を要求できます。DB には、すべての分散ノードからのすべての最新の結果を待たずに、何らかの方法で「即興」するオプションがあります。
- ユーザーは、ジョブ配列が終了した後に完全な要約を要求できます。これにより、DB は、そのすべてのノードからすべてのデータの正確な要約を返し、さらに、すべてのノードがまだジョブからデータを受信していないことを確認します (指定された状態で静止)。時間）。
つまり、高速な DB と、LSF ジョブ配列内の何千ものジョブから大量のデータを受信する正確な DB が必要です。LSF ジョブ配列の結果の進行状況を監視する必要がありますが、速度を向上させるために監視する際にある程度の精度を犠牲にしても構わないと思っていますが、すべてが完了したときに正確な結果が必要です。
ジョブごとに保存されるデータは、小さいジョブ ID、小さい PASS/FAIL、大きいジョブの失敗方法です。トリアージ スクリプトがジョブ配列のすべての DB データに高速でアクセスする必要がある場合、ジョブ配列内のすべてのジョブが終了するまで、非常に少数のジョブのスポット チェックのみが行われる可能性があります。