問題タブ [lsf]

submit_time に基づいて bjob​​s 出力をソートする方法はありますか? それとも他のフィールドによると？

JOBID USER STAT QUEUE FROM_HOST EXEC_HOST JOB_NAME SUBMIT_TIME

私のプログラムでは MPI+pthreads を使用しています。n-1 個の MPI プロセスは純粋な MPI コードですが、pthreads を使用する MPI プロセスは 1 つだけです。最後のプロセスには、2 つのスレッド (メイン スレッドと pthread ) しか含まれていません。このプログラムを実行したい HPC クラスターは、それぞれが 12 個のコアを持つ計算ノードで構成されているとします。ハードウェアを最大限に活用するには、バッチ スクリプトをどのように記述すればよいですか?

以下は、私が書いたバッチスクリプトです。最後の MPI プロセスには 2 つのスレッドがあり、他のプロセスにもそれぞれ 2 つのスレッドがあると想定する必要があるため、 export OMP_NUM_THREADS=2 を使用します。

次に、ノードごとに 6 つの MPI プロセスを割り当てるので、1 つの MPI プロセスを除くすべての MPI プロセスに 1 つのスレッドがあるにもかかわらず、各ノードは 6xOMP_NUM_THREADS = 12(=各ノードのコア数) のスレッドを実行できます。

このためのより良いスクリプトを作成するにはどうすればよいですか?

現在、Platform Computing "Platform Process Manager" (Flow Manager) バージョン 8.1 によって作成されたlsb.eventsログ ファイルの内容を解読しようとしています。

ドキュメントのさまざまなソースから、jStatus 変数に関する次の説明が表示されます。

• 4=実行
• 32=JOB_STAT_EXIT
• 64=JOB_STAT_DONE

ただし、JOB_STATUS エントリには、2 と 192 の jStatus 値もあります。 これらの値は何を表していますか?

この実装がバンドルされているため、SAS にタグ付けします。補足として、lsb.events ファイルの実際のフィールドが、前述のドキュメントに従って表示されるはずのフィールドと一致しない場合があることに気付きました..

私の問題があまり具体的でないことを願っています...

別のコマンドにパイプされたコマンドの終了コードを返す方法については、多くの質問と回答がありますが、私の場合は少し異なります...

出力をシンタックスカラーリングスクリプトにパイプする汎用コマンドがあります。このコマンドは、LSF の bsub を介して実行されます。このようなもの：

bsub <switches> "command | colorize"

コマンドがゼロ以外の終了値を返すとします。colorize コマンドにより、bsub はゼロの終了値を返しています。

配管しないと--

bsub <switches> "command"

終了値は、コマンドからのゼロ以外の正しい値です。

パイプでゼロ以外の値を取得する方法はありますか?

完全な開示のために、この bsub は実際には perl の system() 呼び出しを介して呼び出されています。bsub がゼロ以外を返す限り、システム コールはゼロ以外を返す必要があり、すべて問題ありません。

$PIPESTATUS 経由でパイプされたコマンドから終了コードを取得する方法を調べましたが、1) シェルではなく perl から実行しており、2) bsub かどうかわからないため、この場合は機能しないと思います。それを返します。

job1 が LSF の変数名を使用して動的に job2 を待機するという問題があります。これが私のコードです。

ネットワークに接続されたサーバーのクラスター上で実行される何千ものシミュレーションのジョブ配列を作成します。これらのサーバーはすべてローカル ディスクを持ち、NFS ディスク ドライブに接続されています。

次の方法で動作するサーバー間で分散できるデータベースはありますか。

1. ジョブ配列を送信すると、個々のサーバーで実行されている個々のジョブが分散 DB に結果を送信します。
2. ジョブ配列がまだ実行されている間、ユーザーは DB から部分的な要約を要求できます。DB には、すべての分散ノードからのすべての最新の結果を待たずに、何らかの方法で「即興」するオプションがあります。
3. ユーザーは、ジョブ配列が終了した後に完全な要約を要求できます。これにより、DB は、そのすべてのノードからすべてのデータの正確な要約を返し、さらに、すべてのノードがまだジョブからデータを受信して​​いないことを確認します (指定された状態で静止)。時間）。

つまり、高速な DB と、LSF ジョブ配列内の何千ものジョブから大量のデータを受信する正確な DB が必要です。LSF ジョブ配列の結果の進行状況を監視する必要がありますが、速度を向上させるために監視する際にある程度の精度を犠牲にしても構わないと思っていますが、すべてが完了したときに正確な結果が必要です。

ジョブごとに保存されるデータは、小さいジョブ ID、小さい PASS/FAIL、大きいジョブの失敗方法です。トリアージ スクリプトがジョブ配列のすべての DB データに高速でアクセスする必要がある場合、ジョブ配列内のすべてのジョブが終了するまで、非常に少数のジョブのスポット チェックのみが行われる可能性があります。

を使用して、LSF で最も使用率の低いマシンにジョブを送信しようとしていました。

期待どおりに機能しますが、すべてのジョブ (連続して送信されたもの) が同じホスト (最も使用率の低いホスト) で終了するため、マシンに大きな負荷がかかり、最終的にジョブのパフォーマンスが低下します。最も使用率の低いマシンに連続して送信されたジョブを分散する方法はありますか? または、マシンで使用されているスロットの数を把握する方法は?