問題タブ [sungridengine]

Sun Grid Engineでアレイジョブを開始したときに、すべてのジョブにかかった時間の情報を後で取得するにはどうすればよいですか？つまり、ジャブを提出してから最後の仕事が終わるまでにどれくらいの時間がかかったか知りたいのです。（すべてのジョブが一緒に消費されたCPU時間を知りたくありません。）

私はこのように提出します：

私のSGE実行スクリプトは次のようになります。

助けていただければ幸いです。ありがとうございました。

最近、クラスターでコードを実行するためのアクセス権を取得しました。私のコードは完全に並列化可能ですが、その並列性を最大限に活用する方法がわかりません。大きな行列の要素を計算する必要があり、それぞれが他の要素から独立しています。行列の計算を高速化するために、複数のマシン (100 など) で実行するジョブを送信したいと考えています。

今、私は複数のジョブを送信して、それぞれが行列の一部を計算し、それを .mat ファイルに保存するスクリプトを作成しました。最後に、それらをマージしてマトリックス全体を取得します。個々のジョブを送信するために、新しい .m ファイル (run1.m、run.2、...) を作成して変数を設定し、関数を実行してマトリックス内の関連部分を計算しました。したがって、基本的に run1.m は

次に、compute_dists_matrix は id を使用して、計算する部分を見つけます。次に、run1.m から run60.m までを作成し、それらをクラスターに qsub するスクリプトを作成しました。

たとえば、いくつかの MATLAB 機能を使用してこれを行うためのより良い方法があるかどうか疑問に思います。これは非常に典型的なタスクのように見えるからです。

Perlは、入力と出力の両方で実行されるコマンドパイプを開くことができません。これにより、送信のジョブIDが失われるため、qsubを介してSGEに送信するときに問題が発生します。生成されたスクリプトをSGEに送信し、 SGEが割り当てたジョブIDをキャプチャするにはどうすればよいですか？

すべてのタスクが同時に実行されない配列ジョブを作成したいと思います。タスクは、将来のコマンドによって有効になります。この機能が必要な理由は、関連する多くのジョブを集約したいのですが、すべてのジョブに必要なデータが同時に利用できないためです。

qalterを使用できると思いましたが、タスクごとにオプションを変更することはできません。ジョブのタスク数を調整することすらできないようです。私が持っている唯一の残りのオプションは、データが利用可能になるまですべてのタスクを発行してスリープさせることですが、スロットが無駄になるため、そのソリューションは好きではありません。

必要な動作を取得するにはどうすればよいですか。関連する一連のタスクに対して配列ジョブが作成されますが、タスクは制御可能な方法で発行されます。

古い 32 ビット バージョンの SGE execd を実行する 64 ビットの Debian Squeeze システムを使用しています。コマンドラインで実行するuname -mと、期待どおりの結果が得られます: x86_64. しかしuname -m、同じホストの SGE スクリプト内で実行すると、出力はi686. これにより、 からの正しい読み取りに依存するものはすべて壊れますuname -m。

私は問題を回避できるので、私の質問は実用的というよりも学術的です。uname のソース コードをダウンロードしましたが、マシン アーキテクチャ データのプル元がどこにあるのかわかりませんでした。uname -mが 64 ビットの親プロセスではなく 32 ビットの親プロセスで実行されているため、この問題が発生していると思います。だから私の質問は - その仮定は正しいですか? もしそうなら、なぜ uname はそれを実行するプロセスのアーキテクチャに影響されるのですか?

RSH を使用して別のマシンでコマンドを実行する CVS ラッパー スクリプトを書きたいのですが、引用符に問題があります。

問題は、引数が引用符で渡されても、コマンドの実行時に RSH がそれらをドロップするように見えることです。次のコマンドは、宛先では 3 つの引数として表示されるはずですが、代わりに 4 つになっています。

私は実際に SGE の rsh 互換バージョンである qrsh を使用しているので、rsh を使用しない方法についてのアドバイスを探しているわけではありません。インタープリターの使用を検討しましたが、文字列内の引用符をエスケープする方法がわかりません:

私は c-shell に最も精通していますが、もし誰かがそれを書くなら bash スクリプトを検討したいと思います。この CVS スクリプトはどのように書けばよいですか?

Sun Grid エンジンと Java DRMAA ライブラリを使用して、Web アプリケーション内からクラスターにジョブをスケジュールしています。仕事に関する限り、すべてがうまく機能します。しかし、アプリケーションのメモリ使用量は、時間が経つにつれて急速に増加し、クラスターに複数のジョブを送信し始めると増加します。誰かが同じ行動に気づいたことがありますか。これについては、専門家の助けを借りることができます。

使ってきました

タスクを Sun GridEngine クラスターにサブミットしようとしましたが、あまり便利な名前が付いていないデータ セット (超大規模なものも) を使用していることに気付きました。これについて最善の方法は何ですか？それらすべての名前を変更しようとすることもできますが、名前には保持する必要がある情報が含まれており、明らかに多くの問題が発生します。すべてをjsonに前処理することもできますが、qsub -all_contents_of_directoryだけにする方法があれば、それが理想的です。

私はSOLですか？問題のディレクトリに移動して、. -exec 'qsub setupscript.sh {}'?

Jenkinsでbashスクリプトを実行する方法を知っています。ただし、qsubを使用してbashスクリプトをOGEシステムに送信すると、Jenkinsは自分のジョブが終了したかどうかをどのようにして知ることができますか？

SGE（Sun Grid Engine）のDRMAA API（ジョブスケジューリングおよびメンテナンスAPI）をWebサービスAPIとして公開するプロジェクトを知っている人はいますか？RESTfulAPIが最適です。