問題タブ [lsf]

bjobs -l は、CWD がたとえば 3 行に分割されているジョブの詳細な説明を提供します。CWD を確実に取得できるコマンドが必要です。

10 個のスロットを持つホストがあり、そのホストに次のようにユーザー制限を適用したとします: SLOT = 5 JOB = 3

このホストがそのユーザーからさらに多くのジョブを実行できるかどうかを確認するコマンドはありますか? または、上記のホストが上記のユーザーに対して閉じられているかどうかを確認するコマンドはありますか。

前もって感謝します！

「lshosts」と入力すると、次のように表示されます。

が呼び出されたときにギガバイトではなく、メガバイトとして返そうとしてmaxmemいます。ザイリンクス ISE ジョブを LSF に送信しようとしていますが、ソフトウェアはおよびにメガバイトの整数値を想定しています。デバッグを行うと、ソフトウェアがコマンドを使用してこれらのパラメーターを取得しているように見えます。maxswplshostsmaxmemmaxswplshosts

lsf.conf ファイルを既にチェックインしました。

IBM Knowledge Base を検索してみましたが、役に立ちませんでした。

特定のコマンドを使用して、lsf.conf、lsf.shared、またはその他の構成ファイル内でユニットを指定maxmemしていますか?maxswp

それとも、LSF フォースが最も実用的な単位を返すのでしょうか?

これをオーバーライドする方法はありますか?

コーディングの解決策ではなく、一般的なアドバイスを探しています。基本的に、bsub 経由でジョブを送信する場合、次のいずれかを指定することで、Stdin/Stdout のログを取得できます。

これらはどちらも優れていますが、私のプログラムは bsub に送信されるとフォルダーを作成し、リモート サーバーに保存します。本質的に私はしたい

a) フォルダーとその内容を取得する b) ジョブの終了時にこれを自動的に行う

技術的には を使用できscp -rますが、これは手動で行う必要があります。ジョブが終了したときに電子メール アラートを受け取った場合はそれほど悪くはありませんが、それでも手動で行う必要があります。

b）に：

bsub が実際の結果を取得するための特別なフラグは表示されず、StdOut のみが表示されます。仕事の時間を使用して設定するスクリプトを作成できると思います（sleepおそらく、安全のために少し長くなります）。

ただし、ログアウトされたり、ジョブが終了する前にスクリプトが終了したりすることについて少し心配しています。

誰か提案はありますか？

私は基本的に、ユーザーがファイルを送信し、ファイルをリモートで分析し、ジョブの開始/終了時にユーザーにメールを送信し、結果を自動的にローカル/Webサーバーに取得し、ユーザーが選択できるというメールを受け取るインターフェイス（将来的にはWebサイト）が必要です彼らの結果をアップします。

それでも一歩ずつ！

LSF をプラットフォームとして使用してジョブを送信するコンピューター クラスターで、いくつかのベンチマークを実行する必要があります。これらのベンチマークを異なるデータベースで実行する必要があります。それらのいくつかは、クライアントからの接続をリッスンする前にサーバーを実行する必要があります (PostgreSQL や Redis など)。

LSF を使用してクラスタ上でサーバーを実行する方法はありますか?

次のコマンドを使用して、LSF ですべてのユーザーと保留中のジョブを一覧表示します。

出力例:

NJOBS 値が 0 より大きいユーザー、つまり少なくとも 1 つのジョブを実際に送信したユーザーのみを表示するコマンドを探しています。

この例では、ユーザー 'bbbbb' と 'ccccc' の行のみが表示されることを意味します。

会社内でファイルのクランチングや計算を行っています。簡単に言えば、10 億を超えるレコードを含む巨大なファイルを読み取り、ファイルを解析し、クレンジングを行い、クレンジングされたデータを別のファイルに書き込むという仕事またはタスクがあります。常に作成、送信、実行されている数百のジョブがあります。各ジョブは独自のファイルを処理するため、同時実行の問題について心配する必要はありません。

これを実現するために、独自のスケジューリング システム (メインフレームと Java の組み合わせ) を構築しました。現在のスループットは、1 時間あたり約 4,000 万レコードです。

これを改善する (そしてより多くのフォールト トレランスを提供する) ことを追求する中で、IBM の LSF を評価して、このスケジューリングとジョブの作成を支援しています。

この問題に対して、LSF を使用するのはやり過ぎかもしれないと感じている人はいますか? AKKA のアクター モデルの実装を使用して同じことを達成し、それを中心に独自のジョブ スケジューラを作成することを考えることができます。

何かご意見は？

私はマルチスレッドの数値計算アプリに取り組んでいます。それを と呼びましょうmyprogram。myprogramIBM の LSF グリッドで実行する予定です。LSF を使用すると、異なるマシンの CPU でジョブをスケジュールできます。たとえば、bsub -n 3 ... myprogram ...ノード 1 から 2 つの CPU を割り当て、ノード 2 から 1 つの CPU を割り当てることができます。

3 つのコアすべてを同じノードに割り当てるよう LSF に依頼できることはわかっていますが、ジョブが異なるノードにスケジュールされている場合に関心があります。

1. LSF はこれをどのように管理しますか? myprogramnode1 と node2 の 2 つの異なるプロセスで実行されますか?

2. LSF は node1 と node2 の間のデータ転送を自動的に管理しますか?

3. myprogramLSF がこれを管理しやすくするためにできることはありますか? LSF ライブラリを使用する必要がありますか?

これは私の以前の質問の拡張です: pass a hash object from one perl script to another using system . @Sobriqueが私の質問に答えました。

ここで、上記の質問と同じ方法でハッシュ オブジェクトを別の perl スクリプトに渡すことができるかどうかを知りたいのですが、bsub.

ラッパースクリプト: script1.pl

some_other_script.pl

どうすればこれを達成できますか？どんな助けでも大歓迎です。

ありがとう！