2

ジョブを送信するために、lsf システムを介してサーバー上でスクリプトを実行しようとしています。bsub を使用せずに wget を実行すると、wget は取得しようとしているファイルを正常にダウンロードします。ただし、bsub 内で同じコマンドを実行すると、ジョブは実行されますが、ジョブの実行を許可しても wget が動かなくなります (ファイルのダウンロードには約 10 秒しかかかりません)。実行したコマンドは次のとおりです。

wget ftp://ftp-trace.ncbi.nih.gov/1000genomes/ftp/data/NA19238/sequence_read/ERR000018.filt.fastq.gz #This one runs no problems.

bsub -q short -J wgettest -oo wtest.out -eo wtest.err wget ftp://ftp-trace.ncbi.nih.gov/1000genomes/ftp/data/NA19238/sequence_read/ERR000018.filt.fastq.gz #This one does not work. :(

ジョブの stderr ファイルは次のとおりです。

--2012-07-05 20:57:59-- ftp://ftp-trace.ncbi.nih.gov/1000genomes/ftp/data/NA192 38/sequence_read/ERR000018.filt.fastq.gz => `ERR000018 .filt.fastq.gz' ftp-trace.ncbi.nih.gov を解決中... 130.14.250.10 ftp-trace.ncbi.nih.gov|130.14.250.10|:21... に接続中... 接続済み。匿名でログイン中 ... ログインが正しくありません。

誰か提案はありますか？前もって感謝します。

4

2 に答える 2

1

beowulf クラスタでは、ワーカー ノードを外部ネットワークから切り離すのが標準的な方法です。bsub を使用して送信すると、ジョブはワーカー ノードで実行されるため、インターネットにアクセスできません。これが、クラスターへの接続が常にヘッド ノードの 1 つを介して行われる必要がある理由です。一般に、ジョブを送信する前に、必要なファイルをヘッド ノード (bsub なし) に手動でダウンロードする必要があります。ワーカー ノードから何かをダウンロードできる必要がある場合は、ある種のトンネリングが可能かもしれませんが、それについてはクラスター管理者に相談する必要があります。

于 2015-03-05T20:54:36.470 に答える
0

コマンドが実行されたマシンがインターネットにアクセスできなかった可能性が高いです。

コマンドは、リソースの割り当て後にノードで実行されます。

システムと結合できるプロキシがあるかどうかを確認し、それを介して wget を実行します。

于 2014-06-30T14:05:45.220 に答える