問題タブ [pbs]

私がアクセスできる PBS システムでは、-W x=NACCESSPOLICY:SINGLEJOBフラグを使用していくつかのジョブを実行していますが、このフラグを追加すると、同じジョブに約 10% 長くかかるようです。これは正しい動作ですか？もしそうなら、それは私を驚かせます.ノード全体に単独でアクセスできると、どちらかといえば、より多くのメモリにアクセスできるため、ジョブの実行にかかる時間がわずかに短縮されると思っていたからです.

I'm using the xz zipping utility on a PBS cluster; I've just realised that the time I've allowed for my zipping jobs won't be long enough, and so would like to restart them (and then, presumably, I'll need to include the .xz that has already been created in the new archive file?). Is it safe to kill the jobs, or is this likely to corrupt the .xz files that have already been created?

Hadoop-on-DemandとSGEでのHadoop統合を見てきました。私の理解では、管理者権限が必要ですが、これは職場の大きなクラスターにはありません。管理者は手一杯で、何ヶ月も私たちをセットアップすることができません。

一時的な仮想クラスターがHDFSのユーティリティに課す制限を認識しています。また、光沢ファイルシステムを使用すると、問題が発生することも理解していますが、Hadoopインスタンスを起動するクラスターにジョブを送信するためにSGEまたはTorque（PBS）スクリプトを作成した人はいますか？

リモート計算クラスターで一連の計算をセットアップする Python スクリプトを作成しています。しかし、私は問題に遭遇しました。

リモートサーバーでの計算は、次のコマンドで開始されます。

Run.sh はフォルダー ./sol/ にあります。

./sol/ と入力して実行すると:

すべてが正常に機能します。ただし、私が ./ にいて、次のコマンドを実行した場合:

qsub は次のエラー メッセージで失敗します。

これがなぜなのか誰か知っていますか？私はpythonバージョン2.5.1とunix 2.6.18を使用しています

ジョブを送信する前に、パラメーターを .pbs スクリプトに直接渡す方法はありますか? 異なる番号で示されるファイルのリストをループし、スクリプトを適用して各ファイルを分析する必要があります。

私が思いついた最高のものは次のとおりです。

ここで、pass_test.pbs は次のスクリプトです。

でも、これはちょっとイマイチな気がします。特に、これを処理するために環境変数を作成する必要はありません。

コマンドを実行しようとしてqstatいますが、キューのステータスを取得する代わりに、次のエラーが表示されます。

デフォルトのサーバーホスト'torqueserver'を解決できません-server_nameファイルを確認してください。qstat：サーバーtorqueserverに接続できません（errno = 15010）ホストからのアクセスが許可されていないか、不明なホスト

どうすればそれを解決できますか？

qstat を使用して pbs ジョブが要求したメモリ量を確認できることはわかっていますが、ジョブが現在使用しているメモリ量を表示する方法はありますか?

ありがとう！

PBS システムでいくつかのアレイ ジョブを実行しています (私の質問に答えるのに PBS システムの知識は必要ありません!)。24 回実行しましたが、それぞれを 5 つのサブジョブに分割したいので、スクリプトを 120 回実行する必要があります。

の PBS オプションを指定した後-t 1-120、 を使用して現在のジョブ配列 ID を取得できます$PBS_ARRAYID。ただし、いくつかの出力ファイルを作成したいと考えています。これらの出力ファイルが、サブラン識別子 (例: output-1a.txt、output-1b.txt ... output-1e. txt、出力 2a.txt)。

したがって、シェルスクリプトで使用できるサブラン識別子 (おそらく一連の if ステートメント内) と共に ID (1 から 24 の範囲) を取得する方法を計算する方法が必要です。 . 残念ながら、私の数学も Unix の知識も、これを理解するのに十分ではありません。120または24に対する現在の相対値に基づいて、商/剰余を処理する必要があると思いますが、$PBS_ARRAYIDそれは私が持っている限りです...

それぞれ 8 つのノードを持つこれら 2 つのクラスターを取得しました。ジョブを起動できる優れたクラスター フレームワークを探しており、さまざまなスケジューリング ポリシーを備えた組み込みのスケジューラーと、Web フロントエンドを備えた監視システムを備えています。各ノードは Ubuntu 11.04 で実行されています。商用でもオープンソースでもOKです。

私が見たものには、TORQUE と MAUI がありました。(監視用の Web フロントエンドがあるかどうかはわかりません) SLURM と MAUI。GEXEC と GANGLIA (スケジューラはありません)

どの製品をお勧めしますか? また、ツールの代わりに MOSIX のようなクラスタ オペレーティング システムを使用する利点はありますか?