問題タブ [drmaa]

C++ で記述されたさまざまなモジュールで構成されるアプリケーションがあります。
モジュールの 1 つは、SunGrid Engine で分散タスクを処理するためのものです。クライアントがグリッドをサポートしていない場合は、ローカル マシンを使用する必要が

あります API libdrmaa.so の共有オブジェクトは、コンパイル時にリンクされ、実行時にロードされます。
私のアプリケーションを使用しているクライアントがこの「.so」を持っている場合、すべて問題ありませんが、クライアントがそれを持っていない場合、アプリケーションは共有ライブラリのロードに失敗して終了します。
これを回避するために、API 呼び出しを dlsym() と dlopen() を使用して取得した関数ポインターに置き換えました。dlopen の呼び出しが成功せず、目的が達成された場合、グリッドの代わりにローカル マシンを使用できるようになりました。
現在の問題は、アプリケーションが小さなテストケースでは正常に実行されるようになったことですが、大きなテストケースではセグメンテーション エラーがスローされますが、動的読み込みを使用する同じコードは正しく機能します。

dlsym() と dlopen() を使用しているときに何か不足していますか?
同じ目標を達成する他の方法はありますか？

どんな助けでも大歓迎です。

ありがとう、

PBS/Torque クラスタ ソフトウェアで動作することが知られている DRMAA-API の Java 実装を知っている人はいますか?

この背後にある背景: DRMAA 準拠の API を使用して、Java から新しくセットアップされた Linux クラスターにジョブを送信したいと考えています。クラスターはPBS/Torqueによって管理されます。Torque には、DRMA-C バインディングを含み、libdrmaa.so および .a バイナリで提供される Torque/PBS 用の PBS DRMAA 1.0 ライブラリが含まれています。Sun グリッド エンジンには、Java-DRMAA API を提供する drmaa.jar が含まれていることを知っています。実際、私は SGE を使用することにしましたが、最初に PBS を試すことにしました。

その決定の背後にある理論
は、「DRMAA は標準であるため、Java API は標準に準拠した drmaa-c バインディングのみを必要とする」というものでした。しかし、そのような「一般的な DRMAA-C-java API」を見つけることができなかったので、この仮定は間違っていて、Java ライブラリはエンジン固有のものであると仮定します。

編集: Sun Grid Engine パッケージの drmaa.jar を試し、pbs libdrmaa.so と併用しようとしました。驚くことではありませんが、これは失敗しました (JNI 未解決のリンク エラー)。

結論：そうはいきません！いくつかの検索の後、次のいくつかのオプションのみが表示されます。

1. Globus ツールキットの上に GridWay をインストールします。PBS の上にインストールされた GridWay は、Java で DRMAA を提供すると主張しています。私の設定には複雑すぎるように見えます。
2. DRMAA を破棄し、Java からシステム コマンド qsub、qstat などを呼び出して PBS に提出します。シンプルだけどあまりいいじゃない。

3. drmaa バインディングを自分で実装します。複雑すぎる…

4. Grid Engine に切り替えます。私の意見では、GE は言語バインディングに関して PBS よりも優れています。

オプション 2 または 4 を好む傾向があります。推奨事項はありますか?

Sun Grid エンジンと Java DRMAA ライブラリを使用して、Web アプリケーション内からクラスターにジョブをスケジュールしています。仕事に関する限り、すべてがうまく機能します。しかし、アプリケーションのメモリ使用量は、時間が経つにつれて急速に増加し、クラスターに複数のジョブを送信し始めると増加します。誰かが同じ行動に気づいたことがありますか。これについては、専門家の助けを借りることができます。

SGE（Sun Grid Engine）のDRMAA API（ジョブスケジューリングおよびメンテナンスAPI）をWebサービスAPIとして公開するプロジェクトを知っている人はいますか？RESTfulAPIが最適です。

Pythonで使用しているdrmaa APIの「待機」機能についてお聞きしたかったのです。プログラムの実行が終了したかどうかを確認するために、一定のqstat（SGEで実行している場合）を実行しますか。

私たちの管理者は、スケジューラの余分な負荷のためにパフォーマンスが低下するため、一定の qstat を回避することを望んでいます。

一般に、wat は、スケジューラーをオーバーボーディングすることなく、DRMAA を介してジョブの状態を確認する効率的な方法です。

ありがとう！-アビ

私はdrmaa-pythonを使用して、SGE (Sun Grid Engine) との間でジョブを送信および監視しています。GUIで次のステータスがあります

• キューでアクティブなジョブ
• ジョブの実行
• 完了したジョブ
• 失敗したジョブ
• ステータス未定

Status Undeterminedのジョブがほとんどない場合があります。SGE ホスト マシンのターミナルでqstatを使用してジョブのステータスを確認すると、すべてのジョブが 1 つも失敗することなく実行されていることがわかります。Status Undeterminedは、ユーザーに誤解を与えることがよくあります。これは、ユーザーがStatus Undeterminedジョブに何らかの問題があると考える可能性があるためです。

したがって、問題は SGE ではなく、drmaa-python ライブラリにあることがわかりました。

drmaa-python がステータスを判断できない理由を知っている人はいますか?

DRMAA python バインディング (こちらhttp://code.google.com/p/drmaa-python/を参照) を使用して、クラスター上の Condor を介して分散ジョブを管理しています。

コードが端末に出力する DEBUG メッセージをオフにする方法が見つかりません。

例えば：

DEBUG: 待機中... DEBUG: drmaa_join_files DEBUG: Join_files が設定されている DEBUG: drmaa_block_email: 1

何か案は？

前もって感謝します

DRMAA 自体を介して開始されたジョブだけでなく、DRMAA ライブラリを使用して、リソース マネージャーで実行中のすべてのジョブを一覧表示できるかどうか疑問に思っていました。

つまり、SLURM リソース マネージャーのsqueue コマンドによって出力されるものと同様のデータを取得します。