問題タブ [condor]

これは、HTCondor ジョブでの自分の python モジュールのインポートに関するものです。

「mymodule.py」がインポートしたいモジュールで、XDIR というディレクトリに保存されているとします。YDIR という別のディレクトリに、xImport.py というファイルを書きました。

およびコンドル送信ファイル:

これを送信すると、xImport.out に sys.path が出力され、XDIR が表示されます。しかし、xImport.error には、「mymodule という名前のモジュールがありません」という ImporError があります。したがって、mymodule へのパスは sys.path にあるようですが、python はそれを見つけられません。また、エラーメッセージには、ImportError がファイルから発生したことが示されていることにも言及したいと思います

ではありませんYDIR/xImport.py。

上記のファイルを編集して mymodule.py をインポートするにはどうすればよいですか?

私は、Python スクリプトと Java ファイルの 2 つの部分で構成されるコンドル クラスターで仕事をしています。Python スクリプトを実行して jar ファイルを呼び出し、Java がインストールされているマシンでのみ実行したいと考えています。これを行う方法はありますか？クラスタ内のマシンの多くには Java がインストールされていないため、スクリプトを実行するとエラーが発生します。基本的に、「java」という名前の実行可能ファイルがあるマシン上のバニラ ユニバースで実行できるようにする要件をジョブに追加したいと考えています。

私の大学はコンドルコンピューティンググリッドを実行しており（計算ノードはLinuxを実行しています）、Rでシミュレーションを実行するために使用したいと思います。問題は、グリッド上の一部のマシンにのみRがインストールされていることです。これまでのところ2つのオプションがありますが、どちらを実装するかわからないので、助けていただければ幸いです（私はシステム管理者ではないため、セットアップを変更するために多くのことを行うことはできません。計算ノード）：

1）condor送信ファイルとともに出力されるClassAdsにチェックを入れて、。を持つノードでジョブを計算することを要求します/usr/bin/R。

2）Rとそのすべての依存関係を、計算ノードに送信でき、シミュレーションを実行できる自己完結型のディレクトリにパッケージ化します。私はこれを数時間試みましたが、LinuxバージョンのR（OSXおよびWindowsバージョンとは異なり）はファイルシステム全体に分散されているライブラリに対して実行されているようであり、それらを収集する実際的な方法を考えることはできませんRがそれらを見つけることができる場所にすべて。

何か案は？前もって感謝します。

私はジョブのconderスクリプトを作成し、condor_submitこのジョブを送信するために使用します。以下は私のスクリプトです：

上で見たように、実行可能ファイルはであり、私はコマンドを文字列としてbashに渡すためbashに使用します。-cジョブは正常に送信されますが、err出力ファイルに次のエラーメッセージが表示されます。

これは、一致しない二重引用符について不平を言うだけです。しかし、二重引用符は私には問題ないように見えます。何が問題なのかわかりません。コンドルの問題のようです。何か案は？

Ubuntu 12.10にcondorパッケージをインストールしようとしましたが、エラーメッセージが表示されます。

これらの写真は私の問題を示しています：

シェルを使用して複数のシミュレーションをコンドル (マルチクライアント実行グリッド) に送信する必要があります。これには時間がかかる場合があるため、シェル スクリプトを作成して実行することにしました。私はシェルスクリプトに非常に慣れていません。これは、ある日に行った結果です。

このスクリプトは 0..50 回のシミュレーションを実行し、0..10 個の異なるパラメーターをコンドル送信プロファイルを生成するプログラムに送信します。次に、このプロファイルを送信し、15 分間実行します (SSH パイプが切断されないように、1 分ごとに呼び出しが行われます)。15 分が経過したら、出力をより多くのスペースのあるボリュームに圧縮し、元のファイルを消去します。

これを実装する理由は、コンドル システムが一度に最大 10,000 件の送信しか処理できず、1 件の送信 ( condor_submit profile.sub) で 7000 以上のシミュレーションを実行できるためです。

今、私の問題はこの行にあります。今朝確認したところ、（幸いなことに）condor_submit profile.subネットワークがビジー状態の場合に呼び出し時にエラーが発生する可能性があることに気付きました。エラーコードは次のとおりです。

これは、繰り返し全体が時々失われることを意味します! どうすればこれを回避できますか? 私が見る唯一の方法は、シェルを使用して端末出力の最後の行を読み取り、それらが期待される応答に従うかどうかを評価することです。

しかし、最後の行を読み込んでエラーをチェックするにはどうすればよいでしょうか。

どんな助けも非常に必要であり、非常に感謝しています

私のコンドル グリッドには、何らかの理由で問題のあるホストが 1 つあります。つまり、このホストで実行されるジョブは永久に実行されます。私は管理者ではなく、ログインできないため、調査することも、グリッドから削除することもできません。サブミット ファイルで、その 1 つのホストでジョブを実行したくないことを単純に指定したいと思います。これの構文は何ですか？

Google Compute Engine で「恥ずかしいほど」並列ジョブをセットアップして実行する必要があります。これを容易にするツールを探しています。

EC2 では、MIT の Starcluster を使用してクラスターをセットアップし、ジョブを SGE に送信しました。

Google Compute Engine で利用できる同様のツールはまだありますか?

そうでない場合は、Condor Cluster を手動でセットアップしてジョブを実行します。バズ殺す。

私はクラスター コンピューティングに非常に慣れていないので、クラスター コンピューティングに使用されるさまざまなソフトウェアについて、また特定のタスクに最適なソフトウェアについてもっと知りたいと思っていました。特に、私が解決しようとしている問題には、1 人のマネージャーが数百から数千のジョブの作成を担当するマネージャー/ワーカー タイプのシナリオが含まれます。各ジョブは比較的大きいですが、小さなフレーム単位で実行する必要があります。つまり、マネージャーは各ジョブに「1 フレーム進めて、私に報告してください」と指示します。1 つのフレームの実行は非常に短いため、Manager とワーカー マシン間のレイテンシはマイクロ秒単位で非常に小さくする必要があります。

ありがとうございました！出発点として、私が説明したシナリオに完全に適合しないものであっても、あらゆる情報をいただければ幸いです。これまでに調査したのは、Hadoop、HTCondor、および Akka です。

実行可能ファイルが特定の Java クラスを呼び出すシェル スクリプトである Condor ジョブを実行しようとしています。

/script/testingNew.sh ファイルの内容は次のとおりです (エラーが発生したため、現時点では Java コマンドを削除しました)。

また、Condor からのエラー ログは次のとおりです。

誰でもこのエラーの原因を説明できますか? また、これを解決する方法はありますか? testingNew.sh スクリプトは、ネットワーク マシンで個別に実行した場合、Linux ボックスで正常に実行されます。ありがとう！！- GR