問題タブ [qsub]

私はコンピューティングクラスターでいくつかの実験を行っています。私のアルゴリズムには 2 つのステップがあります。最初のものは、2番目のステップで使用されるいくつかのファイルに出力を書き込みます。依存関係は 1 から n であり、1 つの step2 プログラムが n step1 プログラムの出力を必要とすることを意味します。クラスター リソースを消費せず、ヘッド ノードをビジー状態に保つ方法もわかりません。私の現在の解決策は次のとおりです。

送信スクリプト (これはヘッド ノードで実行されます)

ステップ 2 アルゴリズム (これは計算ノードで実行されます)

これを行うより良い方法はありますか？

qsubを使用して配列ジョブをクラスターに配置すると、グローバル変数 SGE_TASK_ID が配列ジョブ ID に設定されます。これをクラスターで実行するシェル スクリプトで使用します。この場合、各アレイ ジョブは SGE_TASK_ID に基づいて異なる処理を行う必要があります。これはクラスタ スケジューラがこれを行う一般的な方法ですか、それともすべての方法が異なるのでしょうか?

lsf ファームで ( を使用して"qsub -I") 実行する必要があるコマンドのリストがあります。コマンドがcommands_lにリストされているとしましょう。一度に2つのプロセスを実行しようとしているマルチプロセッシングモジュールを使用しています。（私はLinuxを使用しています）

コードは次のとおりです。

私が直面している問題は、実行が出力で動かなくなることです:

奇妙なことに、同じコマンド「qsub -P test -I ls -l」で execCmd を単独で実行すると、正常に動作します。

qsub は、マルチプロセッシング環境内からの実行に問題があるように思えます。何か不足していますか？ありがとう。

いくつかの qsub ジョブを開始するバッチ スクリプトがあり、それらがすべて完了したときにトラップしたいと考えています。

-sync オプションを使用したくありません。それらを同時に実行したいからです。各ジョブには、異なるコマンド ライン パラメータのセットがあります。

すべてのジョブが完了するまでスクリプトを待機させ、その後何かを実行したいと考えています。リソースを浪費するため、特定のファイルが 30 秒ごとに生成されたかどうかを確認するなどのスリープ機能を使用したくありません。

Torque にはいくつかのオプションがあると思いますが、私は SGE を実行しています。

これをどのように実装できるかについてのアイデアはありますか?

ありがとう Ps 私は別のスレッドを見つけました リンク

反応があったもの

すべてのジョブが完了するまで、wait を使用して実行を停止できます。特定の ID を待って循環する場合は、すべての終了ステータスとその他の実行中の統計情報 (かかった時間、その時点で実行されたジョブの数など) を収集することもできます。

しかし、何らかの値をポーリングせずに使用する方法がわかりません。bash トラップを使用できますが、qsub を使用するにはどうすればよいですか?

qusb の -V オプションは、環境変数のみをインポートし、 .bashrc からのエイリアスはインポートしません。例えば

そしてqsubスクリプトは

この場合echo $PYTHONPATH、正常にls動作しますがll、laエラーが発生しますll: command not found。では、エイリアス コマンドを qsub にインポートするにはどうすればよいでしょうか。

aliasまたは、コマンド（llまたはla）が同様に動作lsし、簡単にインポートできるようにするためのより良い代替手段はありますか

私はPythonパイプラインを構築しており、そのパイプラインスクリプトで、qsubを使用してクラスターにジョブを送信する別のPythonスクリプトを呼び出します（このジョブはop 70ジョブで構成されています）作業を続けるには、これらのジョブの出力が必要です。

70 個のジョブがすべて完了するまで、Python スクリプトを「一時停止」するにはどうすればよいですか?

サーバーに送信するスクリプトを変更できないため、独自のスクリプトで行う必要があります。(AMD64 クラスターを使用)

編集：

これは私が他のスクリプトを呼び出す方法です:

私はまだこれに取り組んでいます。とinterwebzを検索していますが、疑問に思わずにはいられません...これは可能ですか??

大きなログ ファイルを生成する Sun Grid Engine バッチ システムでコードを実行しています。-o および -e オプションを使用して出力場所を選択できますが、出力をまったく記録しないように指示できるかどうかを知りたいです。

「qsub-v」コマンドを使用して、変数をcshスクリプトに渡したいと思います。以下のようにパラメータと値のペアをリストできることを理解しています。

これらのパラメータの値が文字列、コンマ記号で区切られた数値のリスト、またはファイル名であるかどうかを誰かが知っていますか？たとえば、以下のコマンドは可能ですか？

どうもありがとうございます、

myscript.Rジョブスケジューラ（具体的にはPBS）を使用してクラスタスレーブノードで実行するには

現在、次のコマンドを使用してRスクリプトをスレーブノードに送信しています

ヘッドノードでmyscript.Rを実行し、個々のタスクをスレーブノードに送信できる関数がRにありますか？何かのようなもの：

更新：qsubコマンドの代替ソリューションは、@ Joshが指摘しているように#/usr/bin/Rscript、の最初の行から削除して直接呼び出すことです。myscript.R