問題タブ [sungridengine]

ロード バランシングの目的で、Grid Engine クラスタ上で一連のまったく無関係な (「恥ずかしいほど」並列な) ジョブを開始したいことがよくあります。

現在私が行っていることは、ジョブごとに 1 つの Bash スクリプトを生成し、それぞれを個別に送信することです。これらはすべて、私が作成した Perl スクリプトによって制御されます。

すべてのジョブを 1 つのファイル、1 行 1 つのジョブに入れると、Grid Engine はジョブを順番に実行しますが、これは重要なことではありません。

ファイルを 1 つだけにして、Grid Engine に各行/ジョブを並行して実行するように指示する方法はありますか?

基本的に、Grid Engine Array Jobs のようなものが欲しいです。しかし、配列ジョブの問題は、各ジョブ間で変化する要素が数値または配列内のインデックスであり、この数値/インデックスが等間隔である場合にのみ機能することです。しかし、私が話しているのは、まったく関係がなく、パターンを共有していない仕事です。

SGE クラスターを使用しています。時々、以下のエラーが発生します。これは、異なる入力ファイルに対して (クラスターを使用して) 同じスクリプトを一度に複数回実行しているときに発生します。何が原因なのか手がかりはありますか？もう一度実行すると、このエラーは発生しません...

qstat (Sun Grid Engine) マンページから:

mem: ジョブの現在の累積メモリー使用量 (Gbytes 秒単位)。

どういう意味ですか？

クラスターに送信してsgeする必要のあるジョブが200以上あります。それらを2つのキューに送信します。キューの1つに、ジョブを送信したくないマシンがあります。そのマシンを除外するにはどうすればよいですか？私が役立つと思ったのは、（q1で使用可能な3つの有効なノードと、q2で使用可能なすべてのノードが有効であると仮定した場合）だけです。

私はC++関数を実行するmatlabコードを持っています.それは私のコンピューターまたは私が実行しようとした他のデスクトップでうまく動作します. (他のデスクトップで実行するために、matlab/c++ 関数と mex ファイルをコピーしました)

最近、sge クラスターでコードを実行しようとしましたが、エラー メッセージが表示されます

「タイプ 'double' の入力引数に対して未定義の関数 'img'」

「img」は、matlab によって呼び出される C++ 関数です。

誰かが同じ問題に遭遇しましたか？誰もそれを解決する方法を知っていますか?

10x エラド

私はdrmaa-pythonを使用して、SGE (Sun Grid Engine) との間でジョブを送信および監視しています。GUIで次のステータスがあります

• キューでアクティブなジョブ
• ジョブの実行
• 完了したジョブ
• 失敗したジョブ
• ステータス未定

Status Undeterminedのジョブがほとんどない場合があります。SGE ホスト マシンのターミナルでqstatを使用してジョブのステータスを確認すると、すべてのジョブが 1 つも失敗することなく実行されていることがわかります。Status Undeterminedは、ユーザーに誤解を与えることがよくあります。これは、ユーザーがStatus Undeterminedジョブに何らかの問題があると考える可能性があるためです。

したがって、問題は SGE ではなく、drmaa-python ライブラリにあることがわかりました。

drmaa-python がステータスを判断できない理由を知っている人はいますか?

スクリプト「run.sh」が、qsub を介してクラスター ジョブ キューに送信されるとします。

私の質問は、ファイル *.o${PID} および *.e${PID} で ${PID} として表示されるプロセスの番号をスクリプト run.sh 内で取得する方法です。

qsub はそれをエクスポートしますか? どの名前で？

bashスクリプト内のコメント内の変数を展開することは可能ですか？

SGEにフィードするスクリプトを書きたい。このqsub構文では、bashスクリプト内で.で始まる行を使用して、追加のパラメーターをグリッドエンジンに渡すことができます#$。例えば、

私が欲しいのは、-oパラメータが動的に変数に設定されることです$1。だから私は素朴に書くだろう

ただし、行は。で始まるため#、bashはそれを無視し、変数$1は展開されません。

何か案は？いくつかのbashプリプロセッサ？他の方法は？

編集私はちょうど例として選び$1ました。$FOOまたはである可能性もあります$BAR。

/usr/...ではなく、/commun/data/packages/openmpi/でコンパイルされたopenmpiをインストールしました--with-sge。

http://docs.oracle.com/cd/E19080-01/n1.grid.eng6/817-5677/6ml49n2c0/index.htmlに記載されているように、SGE に新しい PE を追加しました。

SGE がなければ、プログラムは複数のプロセッサを使用して問題なく実行されます。

プログラムを SGE に提出したい

Open MPI FAQで、次のように読みました。

しかし、私の出力は次のとおりです。

mpirunスクリプトに埋め込まれたコマンドも試しました：

しかし、それは失敗します

どうすればこれを修正できますか?

openmpi メーリング リストで回答してください: http://www.open-mpi.org/community/lists/users/2013/02/21360.php

SGE では、

qsub -now yes/no <command>

「-now yes」を指定すると、ジョブはすぐに (可能であれば) スケジュールされるか、まったくスケジュールされません。保留中のキューには入れられません。

「-now no」を指定すると、すぐに実行できないジョブは保留キューに入れられます。

しかし、LSF では、qsub に相当するものを bsub としています。

bsub では、すぐに実行できない場合は保留キューに入れられます。qsub のように「-now yes」というオプションはありません。

「qsub -now」としてbsubで何かしますか

PS : 解決策の 1 つは、bsub の実行後、スケジュールされているかどうかをしばらく (数秒) 確認してから終了することです。もっとエレガントな方法を探しています。