問題タブ [lsf]

LSF コマンド bsubのジョブ制限を、内部で LSF ジョブを起動する Perl スクリプトにプログラムしたいと考えています。2000 個のジョブがある場合、常に最大 20 個のジョブを実行したいと考えています。20 個のジョブを起動し、すべてのジョブが終了するのを待ってから別の 20 個のジョブを起動するスクリプトを見たことがあります。

LSF キューイング システム コマンド「bqueues」の出力からクラスタ内のジョブを監視する bash スクリプトがあります。スクリプトは正常に実行されます。ここで、このスクリプトを呼び出す crontab エントリを作成したいと思いました。問題は、bqueues に関連するすべてがまったく出力を生成しないことです。その理由は何でしょうか?

LSFキュー内のジョブの位置を確認する方法はありますか?

私が実行した場合：

bjobs -u all -q my_queue

内のすべてのユーザーからジョブのリストを取得しましたmy_queueが、このリストはキュー内のジョブの位置によってソートされていますか?

blaunchLSFコマンドを使用してコマンドを並行して起動できない理由を理解するのに苦労しています。

エラーメッセージ：

アンパサンド ( &) を削除すると、コマンドを順次実行できますが、並列実行した後です。

Platform LSFを使用してジョブを送信し、出力をファイル（bsub -o）に配置し、最後にジョブレポートを表示しないようにします。を使用bsub -Nすると、ファイルからジョブレポートが削除されますが、代わりに電子メールでレポートが送信されます。それを完全に抑制する方法はありますか？

LSF に割り当てることができるメモリの量を決定するオプションはありますか?

私は試した

bsub -R "rusage[mem=10000]" sleep 1000s

しかし、「bjobs -l」を使用してリソースを確認すると、次のようになります。

どこが間違っていますか？

LSF で利用可能なメモリ リソース割り当てコマンドを使用しようとしています。コマンドの通常の形式は次のとおりです。

bsub -R "rusage [mem=1000]" sleep 100s

このコマンドを端末から直接起動すると、機能します。このコマンドをスクリプトから実行すると、失敗します。

これが私のスクリプトです：

その実行出力は次のとおりです。

上記の端末出力でわかるように、スクリプトから bsub コマンドを起動すると失敗しますが、同じコマンドを端末から実行すると問題ありません...

問題のデバッグを手伝ってください。

LSFバッチ スケジューリング ツールを使用するクラスターでいくつかのジョブを実行しています。一般的なバッチ リクエストは次のようになります。

私が使用しているクラスターには、約 10 種類のリソースがあります。(つまり、クラスターには 10 種類の異なるノードがあります。) 実行中のバッチ ジョブに使用できるリソースの種類は 3 つあります。resourceType1ですので、「 、resourceType2、の中で利用可能なリソースタイプを使用してください」というリクエストをしたいと思いますresourceType3。

そのようなリクエストは次のようになると思います。

LSF でこれを行う方法はありますか?

ジョブ配列内のジョブのインデックスをパラメーターとして別の bash スクリプトに渡そうとしています。

numTreatmentsここでの究極のアイデアは、1,... ,numSimsジョブ (シミュレーション)ごとに送信することです。一度に 2 つのジョブを実行したい ( %2)。出力の形式は XX_indexNumber_simNumber です。ここで、indexNumber は 1,... からnumTreatments、simNumber は 1,..., から実行されますnumSims。

理想的には、このスクリプトの一部として送信されるすべてのジョブ ID が同じである必要があります。これはまだ正しく設定されていません。同じjものを持つすべてのジョブに個別のジョブ ID が割り当てられているためです。私の差し迫った問題は、another_script.sh が$LSB_JOBINDEX入力として認識されないことです。つまり、 $jand$maxFailが渡された最初の 2 つのパラメーターのみとして認識されます。の代わりに他の変数を入れても$LSB_JOBINDEX問題ありません。私は何を間違っていますか？

編集- 私が試したいくつかのこと: "$LSB_JOBINDEX"、${LSB_JOBINDEX}、%I、およびI=$LSB_JOBINDEX; bsub ... $I $j $maxFail

ジョブを送信するために、lsf システムを介してサーバー上でスクリプトを実行しようとしています。bsub を使用せずに wget を実行すると、wget は取得しようとしているファイルを正常にダウンロードします。ただし、bsub 内で同じコマンドを実行すると、ジョブは実行されますが、ジョブの実行を許可しても wget が動かなくなります (ファイルのダウンロードには約 10 秒しかかかりません)。実行したコマンドは次のとおりです。

ジョブの stderr ファイルは次のとおりです。

--2012-07-05 20:57:59-- ftp://ftp-trace.ncbi.nih.gov/1000genomes/ftp/data/NA192 38/sequence_read/ERR000018.filt.fastq.gz => `ERR000018 .filt.fastq.gz' ftp-trace.ncbi.nih.gov を解決中... 130.14.250.10 ftp-trace.ncbi.nih.gov|130.14.250.10|:21... に接続中... 接続済み。匿名でログイン中 ... ログインが正しくありません。

誰か提案はありますか？前もって感謝します。