問題タブ [lsf]

ネットワークに接続されたサーバーのクラスター上で実行される何千ものシミュレーションのジョブ配列を作成します。これらのサーバーはすべてローカル ディスクを持ち、NFS ディスク ドライブに接続されています。

次の方法で動作するサーバー間で分散できるデータベースはありますか。

1. ジョブ配列を送信すると、個々のサーバーで実行されている個々のジョブが分散 DB に結果を送信します。
2. ジョブ配列がまだ実行されている間、ユーザーは DB から部分的な要約を要求できます。DB には、すべての分散ノードからのすべての最新の結果を待たずに、何らかの方法で「即興」するオプションがあります。
3. ユーザーは、ジョブ配列が終了した後に完全な要約を要求できます。これにより、DB は、そのすべてのノードからすべてのデータの正確な要約を返し、さらに、すべてのノードがまだジョブからデータを受信して​​いないことを確認します (指定された状態で静止)。時間）。

つまり、高速な DB と、LSF ジョブ配列内の何千ものジョブから大量のデータを受信する正確な DB が必要です。LSF ジョブ配列の結果の進行状況を監視する必要がありますが、速度を向上させるために監視する際にある程度の精度を犠牲にしても構わないと思っていますが、すべてが完了したときに正確な結果が必要です。

ジョブごとに保存されるデータは、小さいジョブ ID、小さい PASS/FAIL、大きいジョブの失敗方法です。トリアージ スクリプトがジョブ配列のすべての DB データに高速でアクセスする必要がある場合、ジョブ配列内のすべてのジョブが終了するまで、非常に少数のジョブのスポット チェックのみが行われる可能性があります。

を使用して、LSF で最も使用率の低いマシンにジョブを送信しようとしていました。

期待どおりに機能しますが、すべてのジョブ (連続して送信されたもの) が同じホスト (最も使用率の低いホスト) で終了するため、マシンに大きな負荷がかかり、最終的にジョブのパフォーマンスが低下します。最も使用率の低いマシンに連続して送信されたジョブを分散する方法はありますか? または、マシンで使用されているスロットの数を把握する方法は?

lsload -I ioノードでの IO 使用を測定するために LSF で使用しています。io 値が 9999 を超えると、1e+04または 4e+04実際の数値を (科学的ではなく) 整数形式で取得する方法はありますか?

私は、2 つのファイルで構成されるコードを開発しました。「エンベロープ bash ファイル」は、いくつかのことを実行してログ ファイルに書き込み、その後、ある時点で for ループに遭遇し、その中で 1 つのジョブを実行します。 bsubを使用する時間。そして、ログファイルの名前を入力として取得し（その実行に必要な他の入力値に加えて）、「エンベロープファイル」から受け取った入力値を使用してプロセスXを実行する「内部bashファイル」 . プロセス X が完了すると、「内部スクリプト」は、プロセス X (その特定のシリアル番号を含む) が完了したことをログ ファイルに書き込みます。

エンベロープ ファイルの for ループは 10 回ループするため、少なくとも 10 個の並列プロセスが実行され、並行して実行されます。それらはすべて、同じログ ファイル名を指定して bsub で実行されます。アイデアは、プロセス X の実行が完了すると、すべてが同じログ ファイルに報告されるというものです。

一般的な手順はうまく機能し、各ケースでプロセス X が実行され、プロセス X の完了に関するすべての通知が必要に応じてログ ファイルに蓄積されます。 2 つの並列ランの乱れと出力ラインが互いに衝突しています。
一度に 1 つの並列実行からのみテキストを受信できるように、ログ ファイルをロックしたいと考えています。これは、2 つのプロセスがたまたま同時にログ ファイルに書き込みを行ったために、テキストが混在するケースを回避するためです。

これは、bsub を呼び出すエンベロープ ファイルの一部です (コンテンツを必要最小限に減らしました)。

ログファイルにエコーする内部ファイルの一部を次に示します。

有用なソリューションをいただければ幸いです。

bsub を使用して LSF スケジューラにコマンドを送信しようとしていますが、このコマンドには、引用符で囲む必要のあるパラメーター値とセミコロンが含まれています。

ここに私の問題を説明するための簡単なコマンドがあります

「8行目：バー：コマンドが見つかりません」で失敗するので、セミコロンをエスケープできると思ったのですが、これ

同じエラーが発生するため、これも同様です

コマンドをスクリプト ファイルに記述し、それを bsub コマンドとして実行することで回避できることはわかっていますが、この場合、いくつかのパラメーターをテストするつもりです。毎回シェルスクリプトを編集しています。

ご協力いただきありがとうございます！

bsubLSFを使用してクラスターにジョブを送信しています。私のコマンドはサードパーティのソフトウェアを呼び出し、ファイルの長いリストと他の引数 (約 8000 文字) を含みます。

このような長いコマンドを直接送信しても安全ですか? それとも切り捨てられますか? コマンドをファイルに保存してから呼び出す必要がありますbsub sh command.shか?

このような長いコマンドを送信するためのベスト プラクティスは何ですか。

ありがとう

私はLSFに非常に慣れていません。ノードごとに 2 つのソケットを持つ 4 つのノードがあります。各ノードには 8 つのコアがあります。ハイブリッド MPI+OpenMP コードを開発しました。各コアに 1 つの MPI タスクを実行するように要求する、次のようなジョブを送信しています。だから私はOpenMPの力を失います。

各ソケットが各コアではなく 1 つの MPI タスクを実行するようにジョブを送信して、ソケット内のコアを OpenMP に使用できるようにしたいと考えています。コード内のハイブリッド化の機能を最適化するために、ジョブ送信スクリプトを作成するにはどうすればよいですか?

Linux OS で bsub コマンドを使用してジョブ アプリケーションを実行します。ジョブの完了時に、LSF アーカイブからジョブ情報を取得するコマンドは何ですか? 私はbacct jobNoのようなコマンドがあることを知っています。しかし、それは情報を取得しません。助けてください。

bjobs -l は、CWD がたとえば 3 行に分割されているジョブの詳細な説明を提供します。CWD を確実に取得できるコマンドが必要です。

10 個のスロットを持つホストがあり、そのホストに次のようにユーザー制限を適用したとします: SLOT = 5 JOB = 3

このホストがそのユーザーからさらに多くのジョブを実行できるかどうかを確認するコマンドはありますか? または、上記のホストが上記のユーザーに対して閉じられているかどうかを確認するコマンドはありますか。

前もって感謝します！