問題タブ [pbs]

私は研究グループで働いており、PBS 待ち行列システムを使用しています。私は PBS マスターではありませんが、ジョブが実行されているかどうかを検索するスクリプトを作成したいと考えていました。これを行うには、まず qstat 呼び出しの結果を qstat -f の引数として使用して、すべてのジョブの文字列を取得し、次にすべてのジョブの詳細なリストを取得して、送信されたファイル パスを検索します。現在のクラッジは次のように立っています

改善のための提案？

また、$() は ``. しかし、私がしようとすると：

...私のプログラムは失敗します。どうしてこれなの？$() でシェル呼び出しをネストする方法を誤解していますか?? それとも、qstat から qstat -f にキュー ジョブのリストを渡す方法と関係がありますか? awk などを使用して qstat コマンドからジョブを取得し、何らかの方法で引数として qstat -f に渡す必要がありますか?

また、再帰的なgrepを使用する必要がありますか? 「正気」と言う人もいますが、それが何を意味するのかはわかりません。よりポータブルですか？速いですか？セラピストへの旅行が少なくて済みますか？

それを使うべき理由は何ですか？

サーバーに送信したすべてのジョブが完了したら、スクリプトを実行したいと思います。

たとえば、私は送信します

そして、開始されたジョブのリストを取得します。すべてが完了したら、サーバー上で別のスクリプトを自動的に開始して、これらのジョブからの出力を処理したいと思います。

次のエレガントでない解決策を回避するのに役立つアドバイスをいただければ幸いです。

上記の呼び出しからの1000個のジョブIDのそれぞれを別のファイルに保存すると、実行中のジョブの現在のリスト、つまり次の呼び出しからの出力に対して、各ファイルの内容を確認できます。

30分ごとにチェックするだけですが、もっと良い方法があると思います。

mpiexec を使用して、いくつかの hello world 実行可能ファイルを実行しています。それらはそれぞれ実行されますが、プロセスの数は常に 1 であり、4 つのプロセスがあるはずです。誰かが理由を理解していますか？また、stty が無効な引数を与えている理由もわかりません。ありがとう！

出力は次のとおりです。

c ファイルは次のとおりです。

送信スクリプトは次のとおりです。

データのさまざまな部分を分析するために、大規模なコンピューター クラスターでコードを実行しようとしています。

ジョブを異なるノードとノードに含まれる cpu に割り当てるために 2 つのループを作成しました。私が書いた分析関数「chnJob()」は、データのどの部分を分析する必要があるかを知るためにインデックスを取得するだけです (この場合は「chn」と呼ばれるシェル変数です)。

ループは次のようになります。

chn 変数が適切にインクリメントされていることがわかりますが、matlab 関数に渡される chn の値は常に chn の最後の値です。

これはおそらく、matlab が各ノードで開くのに多くの時間がかかり、それまでに bash がループを終了するためです。したがって、各 matlab インスタンスに渡される値は最後の値のみです。

それを回避する方法はありますか？関数を呼び出すときに、その変数の値を「ベイク」できますか?

それとも、問題はまったく別のものですか？

SO に関する PBS に関するいくつかの質問に回答がないことに気付きました。これらの質問をするためのより適切なフォーラムはありますか? 例えば：

PBSプログラミング？

同時に実行される PBS ジョブの数を制限するには?

複数のジョブを送信する TORQUE/PBS?

私の本当の質問: PBS の構成に問題があります。何百ものジョブを送信でき、子守をする必要がないようにトルクをセットアップした単一のコンピューターがあります。しかし、合計 4 つの CPU を必要とする 3 つのジョブを送信したため、どういうわけか構成を台無しにしてしまいました。

そして、3つすべてが現在実行されています！私が設定したにもかかわらず：

resources_max.ncpus = 3

クアッドコアがあり、OS 用に 1 つのプロセッサを節約したいためです。qmgr では、次のようにも報告されます。

resources_assigned.ncpus = 3

何が起こっている？！？明らかに、私は何かを台無しにしました。これは適切なフォーラムですか? Unix/Linux について質問する必要がありますか? またはUbuntu（私のOSはどれですか）？

並列化された Rを使用してジョブを送信してqsubいます。私の意図は、R プログラムを 8 コアではなく 4 つの異なるコアで実行することです。PBSファイル内の私の設定の一部を次に示します。

コマンドを発行するta job_idと、4 つのコアがリストされていることがわかります。ただし、ジョブは大量のメモリを占有します(31944900k used vs 32949628k total)。8 コアを使用すると、メモリの制限によりジョブがハングアップしました。

コマンド発行時のスナップショットを次に示します。ta job_id

他のユーザーが他の 4 つのコアを使用できないようにするにはどうすればよいですか? 私の仕事が 4 コアのアイドリングで 8 コアを使用していることをどうにかして隠すのが好きです。

誰か親切にこれについて私を助けてもらえますか? これは pbs を使用して解決できますか?

どうもありがとう

qdelクラスタでPBSジョブスケジューラを使用していますが、 ;を使用して特定の日付より古いジョブを削除したいと思います。qstatあるいは、結果を日付で並べ替えることができれば十分です。

qstatこの出力を与えます：

と私はでジョブを削除することができますqdel：

削除したいジョブは、次を使用して見つけることができますgrep。

私の現在の回避策は、上からの出力をスプレッドシートに貼り付け、ジョブIDで並べ替えてからqdel {min..max}、

これらの手順を1つのコマンドに組み合わせることができますか？

支援に感謝します。

システムで動作するかどうかをテストしたいpbsdsh。次のプログラムを使用します

2 つの 64 ビット クアッドコア Intel Xeon (24 コンピューティング ノード) を搭載した Linux サーバーを使用しています。

次に、コマンドを発行します

次のエラーメッセージが表示されましたtry.sh.e2013

このエラー メッセージはpbsdsh、システムに存在するため、誤解を招くものです。

誰でもこれで私を助けてくれますか?

ありがとう

複数のノードでプログラムをスケジュールしたいのですが、どのようにすればよいですか。プログラミングは初めてなので、PBS についてヒントを得ました。前もって感謝します

私は10個のノードを含むクラスターを持っていますが、そのすべてが同様のオペレーティングシステム(ubuntu 10.4)を持っています。基本的に各ノードのパフォーマンスを監視したいのですが、特定の時間にCPU、メモリなどをキャプチャします。各ノードで同じものをキャプチャするにはどうすればよいですか?結果を集計して、結合された結果を取得します。クラスタ全体の平均 CPU 使用率の例。

実行して結果を取得できるコマンドはありますか。

前もって感謝します。