問題タブ [qsub]

現在、TORQUE を使用しているクラスターを使用しています。最近、qsub を使用してジョブを送信すると、qstat でステータスを確認できますが、STDIN.e12345678 または STDIN.o12345678 ファイルが見つかりません (ジョブの数は単なる例です)。qstat -f コマンドを使用すると、ファイルはホーム ディレクトリにあるはずですが、そこにはありません (非表示でもありません)。何が問題なのですか？

正しい Q+A ページで問題を解決できれば幸いです。また、私はクラスターが何をしているかをよく理解していない単なるユーザーなので、間違った表現を使用していたらすみません。

現在、クラスターで次のことを行っています。

(i) qsub-X -I -l walltime=60:00:00,nodes=1:ppn=8

(ii) 次の内容の myjob (./myjob を使用) を送信する

(iii) これを送信した後、(i) を使用して qsub という新しい接続を開き、myjob ファイルを編集します。つまり、i を {1,-1} から {2,-2} に変更し、./myjob を送信します。

これを i=1,-1 から i=20,-20 まで繰り返します。

これを自動化する方法はありませんか？ジョブ配列や for ループなどを使用してこの作業を行うために 1 日 (実際には 1 日以上) を費やしました。160 個のプロセッサを要求してこのジョブを送信する簡単な方法があるはずです。コンピューティングでその段階に進んだ?

どんな助けも非常に高く評価されています。

PS - はい、私はコンピューターの魔法使いではないことを認識しています。私の無知をお許しください。

qsubでsqeにジョブを追加してみました。しかし、それは行き詰まっているようです。状態は「dt」として表示されます。何が間違っている可能性がありますか？これにより、これ以上実行ジョブを追加できません。キューからジョブを削除するにはどうすればよいですか?

qsub myScript.sh -cwdシェル スクリプトが Python-2.7 スクリプトを実行する経由でジョブを送信しようとしていmyPython.pyます。

ここmyPython.pyで、ローカル ディレクトリに保存されている Python パッケージをインポートする必要があるため、スクリプトは

ジョブを送信すると、ログ ファイルには Python からの次の出力が含まれます。

このエラーは、いくつかのモジュールが*.pyエラーを返さずにファイルからインポートされた後に発生するため、パスの問題ではないと確信しています。私が見つけた唯一の違いは、problem_cファイルが.pyf（つまりproblem_c.pyf）で終わることです。で終わるモジュールと同じディレクトリに保存されます.py。

スクリプトをローカルで実行するpython2.7 myPython.pyと、パッケージのロード時にこのエラーは発生しません。ただし、ジョブはメモリを集中的に使用するため、キューに送信しないと完了できません。を使用すると、ファイルとして記述されたモジュールの.pyf扱いが異なるのはなぜqsubですか? この場合、モジュールをインポートするにはどうすればよいですか?

(問題があれば、私が取り組んでいるクラスターは Sun Grid Engine でセットアップされています。)

ご意見ありがとうございます。

qsub を介してサーバーにジョブを送信しており、ジョブの終了後にローカル マシンで結果を分析したいと考えています。サーバーで分析ジョブを送信する方法を見つけることはできますが、ローカル マシンでそのスクリプトを実行する方法がわかりません。

しかし、上記の代わりに、次のようなものが欲しい

上記のタスクをどのように達成できますか?

どうもありがとうございました。

クラスターで matlab を実行しています。クラスターでインタラクティブな matlab セッションから .m スクリプトを実行すると、結果が再現可能になります。しかし、注意深い目から離れた配列ジョブの一部として、qsub コマンドから同じスクリプトを実行すると、信じられますが再現性のない結果が得られます。.m ファイルは、結果を .mat ファイルとして保存するなど、まったく同じことを行っています。

ある方法でスクリプトを実行すると再現可能な結果が得られ、別の方法で実行すると再現不可能になる理由を知っている人はいますか?

これは再現性の問題ですか、それとも結果が不正確であることを示していますか?

%%%%% 役に立つ回答をしてくれた spuder に感謝します。誰かがこれに出くわして興味を持った場合に備えて、ここにいくつかの詳細情報があります. Matlab ジョブで複数のスレッドを使用すると、他のジョブからリソースが奪われ、結果が混乱する可能性があります。したがって、2 つのオプションがあります。 1. ノードへの排他的アクセスを選択します。私が使用しているクラスターは現在、並列配列ジョブを許可していないため、これを行うのは非常に無駄でした.ノード全体を取得しましたが、シリアルで使用しました. 2. matlab に singleCompThread で実行するように依頼します。これにより、スクリプトの完了に時間がかかる場合がありますが、キューを介してジョブをすばやく取得できます。