問題タブ [lsf]

BatchJobsパッケージを使用しています。data.table繰り返してジョブを送信しようとしているリストがあります。ただし、次のエラーメッセージが表示されます。

それぞれdata.table約7,000行6列です。なぜこれが大きすぎてシリアル化できないのか理解できないようです。すべての検索では、制限として2^31-1の数が出てきます。次に例を示します。

編集：さらなる調査を保留中。これは、まったく同じデータを使用して発生するエラーのようです。他のどのような環境変数が変化しているかを理解しようとしています。

LSF に待機せずにすぐにジョブを割り当て/実行するように依頼する方法は?

期限付きのジョブはほとんどなく、すぐに実行するか、すぐに強制終了したいと考えています。同じことをする方法はありますか？

ツールのライセンス使用量を減らすために、ユーザーが使用している最初の 3 つの実行マシンを再利用するように制限する必要があるという要件があります。

したがって、ユーザーが 3 台のマシン (mac1、mac2、mac3) を使用しているとします。現在、彼が新しいジョブを実行する場合、すでに使用されている 3 台のマシンのうちの 1 台を再利用することが期待されています。

ここまでで、私の要件が明確になったことを願っています。ご不明な点がございましたらお気軽にお問い合わせください

現在、どのマシンを使用するのが最適かを決定するアルゴリズムを設計することを目指しています。アルゴを設計するには、次の入力が必要です:-

1. mac1,2,3 の中で、ジョブを実行するのに最適なマシンを決定するために使用できるパラメーター。

他にもいくつかの要件がありますが、ここに投稿する前に試して失敗したいと思います。上に投稿されたものは、私が持っている最大のボトルネックです

私はpythonラッパースクリプトを作成していますが、それを作成する良い方法は何だろうと思っていました.

コードを連続して実行したい。例えば：

ステップ 1. 同じプログラムを実行します (並列 - 並列化は簡単です。なぜなら、私は LSF システムで作業しているので、3 つの異なるジョブをサブミットするだけだからです)。

プログラムを並行して実行すると、実行ごとに 1 つの fin.txt が取り込まれ、1 つの fout.txt が出力されます。つまり、すべて実行すると、3 つの入力ファイル f1in.txt、f2in.txt、f3in から 3 つの出力ファイルが生成されます。 txt、f1out.txt、f2out.txt、f3out.txt。

(LSF システムで) プログラムの各実行が正常に完了すると、ログ ファイル出力 f1log.out、f2log.out、f3log.out が生成されます。

ログ ファイルの出力はこの形式です。つまり、正常に実行された場合、f1log.out は次のようになります。

したがって、ログファイルが作成されているかどうかを各実行（1、2、3）で（5分ごとに）チェックするラッパーが必要です。ログファイルが作成されている場合は、ラッパーが正常に完了しました (ログ ファイルに正常に完了した文字列が表示された場合)。

また、実行の 1 つが完了し、正常に完了しなかったログ ファイルが生成された場合、ラッパーを終了して、実行 (k=1,2,3) が完了しなかったことを報告します。

その後、

ステップ2。3 回の実行がすべて正常に完了した場合は、これら 3 つのファイルを入力として受け取る別のプログラムを実行します。それ以外の場合は、エラーを出力します。

基本的に私の質問では、次の 2 つのことを探しています。

ラッパーを書く良い方法のように思えますか?

どのようにPythonでファイルの存在を確認し、一定時間ごとにパターンを良い方法で検索できますか?

ノート。LSF にはジョブの依存関係があることは承知していますが、最適ではないかもしれませんが、この方法の方が明確で使いやすいと思います。

os.systemを使用してシステムにコマンドを送信しています。

つまり、

しかし、どうすれば出力を取得できるのでしょうか。つまり、bashにいて、cmdと入力すると、次の形式の出力が得られます。

Pythonでos.system（cmd）を使用してテキスト出力を取得し、それを解析してジョブID57960787を取得するにはどうすればよいですか。

ありがとう！

qstat と sge_qstat のマニュアルを読んだ後でも、SGE 6.1 システムのデフォルト キューの名前をプログラムで解析するために使用できる方法をまだ知りません。つまり、ジョブが格納されているキューの名前です。 qsub コマンドを実行すると送信されます。

次の場所に空のファイルがあります。

そして、このファイルには「-u *」のみが含まれています。

デフォルトでジョブが送信されるキューの名前をプログラムで取得できる方法が必要です。この LSF コマンドの grep に続く名前に相当するもの:

SGEに相当するものはありますか？

ここにいくつかのテストコードがあります:

各チャンクは、まるですべてが単一のマシンで行われているかのように、永遠にかかるようです...

何か案は？

ESS を使用して Emacs で R を実行したいと考えています。R セッションは対話的に実行されますが、LSF を使用して別のホストに送信されます。これを機能させる方法はありますか？つまり、R はローカルで実行されていません。ただし、ESS はローカル コピーを実行しているように見えますが、これはリソースを制限するため機能しません。R を起動するために ESS が実行するコマンドを指定する場所はありますか?

私の問題は次のとおりです。何かを実行してから、次のように 800 の bsub ジョブを呼び出す bash スクリプトがあります。

次に、スクリプトは出力ファイル $of を処理し、結果をエコーし​​ます。

問題は、次のような行がたくさんあることです。

実際には、上記の 3 行の 800 倍です。この LSF 行を抑制する方法はありますか?

上記のループで試しました：

LSF の冗長性を取り除きましたが、一度に 800 ジョブのほぼすべてを送信してから実行に 4 分もかからず、一度に送信されるジョブはわずかで、スクリプトが終了するまで 1 時間以上待たなければなりませんでした。

AFAIK lsf bsub には、この冗長性をすべて抑制するオプションがないようです。ここで何ができますか？