問題タブ [sungridengine]

C++ で記述されたさまざまなモジュールで構成されるアプリケーションがあります。
モジュールの 1 つは、SunGrid Engine で分散タスクを処理するためのものです。クライアントがグリッドをサポートしていない場合は、ローカル マシンを使用する必要が

あります API libdrmaa.so の共有オブジェクトは、コンパイル時にリンクされ、実行時にロードされます。
私のアプリケーションを使用しているクライアントがこの「.so」を持っている場合、すべて問題ありませんが、クライアントがそれを持っていない場合、アプリケーションは共有ライブラリのロードに失敗して終了します。
これを回避するために、API 呼び出しを dlsym() と dlopen() を使用して取得した関数ポインターに置き換えました。dlopen の呼び出しが成功せず、目的が達成された場合、グリッドの代わりにローカル マシンを使用できるようになりました。
現在の問題は、アプリケーションが小さなテストケースでは正常に実行されるようになったことですが、大きなテストケースではセグメンテーション エラーがスローされますが、動的読み込みを使用する同じコードは正しく機能します。

dlsym() と dlopen() を使用しているときに何か不足していますか?
同じ目標を達成する他の方法はありますか？

どんな助けでも大歓迎です。

ありがとう、

RocksクラスターでSGEを使用して実行されているレガシー科学コードがいくつかあります。qsubスクリプト（つまり、Sun Grid Engineが取得して実行するスクリプト）を生成するアプリケーション固有のジョブ送信スクリプトがあります。

qsubスクリプト内で、私のレガシーアプリが呼び出されます。このアプリは、その出力をSTDOUTに送信します。SGEはSTDOUTをインターセプトし、ユーザーのホームディレクトリ内のファイルにスプールするため、ユーザーは結果がリアルタイムで蓄積されるのを確認できます。この動作を維持したいのですが、同時に、すべての出力をバックグラウンドで透過的にログに記録したいと思います。ティーはこれを達成するのに最適だと思いました。

そこで、アプリを実行し、STDOUTをteeにパイプするようにジョブ送信スクリプトを変更しました。これにより、ジョブが完了すると中央ストアにコピーされるファイルにSTDOUTが保存されます。アプリは実行され、次のようにteeにパイプされます。

問題は、コードをteeにパイプし始めてから、特に複数のノードを要求したときに、アプリがSIGTERMで死んでしまうことです。teeで-i（割り込みを無視）パラメーターを使用してみました。違いはありません。

アプリの出力をファイルにリダイレクトし、アプリが完了したらファイルをcatにすると、問題なく動作しますが、ユーザーが結果の蓄積をリアルタイムで表示できるようにすることはできません（これは重要な要件です）。

なぜこのティーの使用が失敗するのかについてのアイデアはありますか？または、代わりに、他にどのようにして目的の機能を実現できるかについてのアイデアはありますか？

私は、仕事で Condor と Sun Grid Engine のどちらを試してみるべきか (あるいは他の何かを試してみるべきか) を考えています。

多くの場合、未使用の WinXp ワークステーションが多数あります。Wake-on-LAN を使用し、すべてのジョブを実行してから、自動的にシャットダウンできることを願っています。主に、モンテカルロまたはパラメーターの探索のために、Matlab、Java、または Python のシミュレーションを実行します。

私のコンドルに関する知識は限られているため、vm ユニバースを使用すると、既存のコードを変更せずにスナップショットを処理できる便利な方法のように思えます。

この種の作業では、コンドルよりも SGE や他の何かが優れていますか?

Sun Grid Engine (SGE) で配列ジョブを実行しています。

慎重にスクリプト化されたアレイ ジョブ ワーカーは、正常に機能している場合、stdout も stderr も生成しません。残念ながら、SGE は実行ごとに空の stdout および stderr ファイルを作成することを主張しています。

Sun のマニュアルには次のように記載されています。

出力ファイルが空の場合は抑制したいと思います。これを行う方法はありますか？

Sun Grid エンジンのデフォルトは csh であり、これ#$ -S /bin/shを回避するにはスクリプトに次のように記述しなければなりません。このデフォルトを変更するグローバル構成設定はどれですか?

SungridEngine と MPI (OpenMPI を使用) の経験が少しあります。これらのフレームワーク/API と JPPF の違いは何ですか?

どのリソースマネージャーがPVMに適しているかを知っている人はいますか？または、PVMを使用せず、代わりにMPI（またはMPICH-2 [他に優れたバージョンはありますか？]などのバージョン）に依存する必要がありました。PVMを使用した主な理由は、このプロジェクトを開始した私の前の人がPVMの使用を想定していたためです。ただし、このプロジェクトは私のものであるため（彼は、PVMに依存する重要な作業を行っていません）、これは簡単に変更できます。PVMのインストールとセットアップは非常に面倒だったため、インストールが簡単なものにすることをお勧めします。

私はSunGridEngineに傾倒しており、専用ハードウェアをどのように使用しているかを確認しています。専用ハードウェアに適した別の投稿を読んだ後、SGEが勝者のようです。ただし、PVMを使用した場合のパフォーマンスはわかりません。誰かがPVMとSGEの経験があるかどうか疑問に思いますか？

人々がSGEを使用する場合、コンピューターからコンピューターへ（または仮想マシンから仮想マシンへ）通信するために何を使用しますか

ああ、これが重要な場合は、Perlアプリケーション/行を実行します。

何か提案やアイデアはありますか？

すべてのコメントに事前に感謝します、

• Tyug

SGE (Sun Grid Engine) にジョブを送信する Python スクリプトがあります。ジョブが完了したら、SGE ジョブから生成された出力ファイルにアクセスしたいと思います。ディレクトリに「ls」があると、ファイルが既に存在し、ジョブが完了していることがわかりますが、Pythonがそのファイルにアクセスするには約20〜30秒必要です...

新しく作成されたファイルをより速く検出する方法はありますか??

私の問題は、「ファイルにアクセスする時間が必要」または「ファイルが存在しない」の違いです

私が試した： os.path.exist(path) os.access(path,os.R_OK)

私の問題を解決しません=（

ppnで(または同等の)を指定する方法はありますSGEか? 1 つのノードですべての CPU を使用したくないので、コアあたりのメモリを増やすことができます。（PBSでは、たとえばそう-l nodes=16:ppn=2します）

ありがとう。