問題タブ [qsub]

qsub を使用してクラスターでジョブを送信するには、次の方法があります。

次のようなことができるように、bash スクリプトで RETURN と CTRL-D をエンコードする方法はありますか。

PBS Pro を実行している 64 ノードのクラスターがあります。何百ものジョブを送信すると、一度に 64 個のジョブを実行できます。これはすばらしいことですが、64 個のジョブすべてがほぼ I/O バウンドで、同じディスクに対して読み取り/書き込みを行っている場合を除きます。そのような場合でも、すべてのジョブを送信できるようにしたいと考えていますが、特定の時間に最大 (たとえば) 10 個のジョブを実行したいと考えています。クラスターの PBS サーバーへの管理アクセス権がなくても、そのようなことを可能にする qsub への呪文はありますか?

PBSに関するいくつかの短くておそらく愚かな質問：

1-私はを使用してジョブを送信します

ジョブファイル内で（サブ）ジョブを送信することは可能ですか？

2-私は次のスクリプトを持っています：

job_bを起動するには、job_aの結果が終了する前に用意しておくと便利です。job_aが終了するまでjob_bが起動されないように、何らかのバリアまたはその他の回避策を設定することは可能ですか？

ありがとう

クラスターで実行することを意図した、qsubシェルスクリプトからpythonスクリプトでいくつかのunixコマンドとpythonを呼び出しています。問題は、スクリプトを実行すると、シェルで何かがうまくいかないように見えるため、存在するディレクトリとファイルが見つからないことです。たとえば、qsub の .out 出力ファイルに次のエラーが表示されます。

そのため、スクリプトは確実に存在するディレクトリに cd できません。同様に、確実に存在する python スクリプトで python を呼び出すと、エラーが発生します。

ここで何がうまくいかないのか、またはこれをデバッグする方法はありますか?

どうもありがとう。

現在、ClusterVisionOS3.1を使用してクラスターに取り組んでいます。クラスターを扱うのはこれが初めてなので、おそらく「明らか」を試したことがないでしょう。

「qsub」コマンドを使用して、単一のジョブをクラスターに送信できます（これは正常に機能しました）

しかし、問題は一度に複数のジョブを送信するときに始まります。それらを一度に送信するスクリプトを作成することもできますが、そうすると、すべてのノードが私のジョブで占有され、ジョブを送信したい人が増えます。

だからここに取引があります：

32ノード（各4プロセッサ/スロット）

最善の方法は、クラスターに3つのノード（12プロセッサー）を使用し、可能であれば、これらのノード/プロセッサーですべてのジョブをキューに入れるように指示することです。ノードにジョブごとに1つのプロセッサを使用させることができれば、それは完璧です。

Sun Grid Engine（現在はOracle Grid Engine？）でqsubを介してジョブを送信したいと思います。-sync yesオプションまたはqrshを使用したくないのは、制御プログラムをシングルスレッドにして、一度に多くのジョブを起動できるようにするためです。これらのオプションは、制御プログラムのスレッドをブロックします。

ただし、起動したプロセスの終了ステータスを受け取りたいのですが。マニュアルページから、私のスレッドをブロックせずにこのコードを取得する方法はないようです。起動しているジョブを変更して終了コードをstdoutに出力する以外に、このステータスを取得する方法はありますか？

図形を生成する関数 (ニューラル ネットワーク モデル) があります。Torque を備えた標準クラスターで PBS を使用して、python からいくつかのパラメーター、メソッド、およびさまざまな入力 (関数の何百回もの実行を意味する) をテストしたいと考えています。

注: 私は parallelpython 、 ipython などを試しましたが、完全に満足することはありませんでした。クラスターは、私が変更できない特定の構成にあり、python + qsub を統合するこのようなソリューションは、コミュニティに確実に利益をもたらします。

物事を単純化するために、次のような単純な関数があります。

はinput入力を表すオブジェクトinput.nameで、文字列であり、do_lots_number_crunching数時間続く場合があります。

私の質問は次のようなパラメータのスキャンのようなものを変換する正しい方法はありますか?

関数へのすべての呼び出しに対してPBSスクリプトを起動する「何か」にmodel？

PBS テンプレートをインクルードして Python スクリプトから呼び出す関数を考えていましたが、まだわかりませんでした (decorator?)。

グリッド上で実行されるシェルスクリプト（qsubで始まる）をパラメーター化するにはどうすればよいですか？getoptsを使用してパラメーターを読み取るシェルスクリプトがあります。

（qsub script.sh -r firstparam -s secondparam ..）を開始すると、qsubを使用してこの作業スクリプトにエラーメッセージが表示されます。

qsub：無効なオプション-s

qsub：不正な-r値

qsubは、パラメーターがそれ自体のためのものであると考えているためです。しかし、私は解決策を見つけていません。

ありがとう

並列化されたジョブを実行したい 128 コアのクラスターにアクセスできます。クラスターは Sun GridEngine を使用し、私のプログラムは Python 2.5.8 で Parallel Python、numpy、scipy を使用して実行するように作成されています。単一ノード (4 コア) でジョブを実行すると、単一コアよりも最大 3.5 倍の改善が得られます。これを次のレベルに進めて、ジョブを最大 4 つのノードに分割したいと考えています。私のqsubスクリプトは次のようになります。

誰もこれを行う方法について何か考えがありますか?