2

GNU Parallel を使用して、S3 から 2 つの EC2 ホスト (-S:,R) に 1000 個のファイルをダウンロードしています。ここで、「R」はリモート ピアの IP です。
--jobs 64 を使用すると、S3 から 64 個のファイル (かなり大きなファイル) をダウンロードするのに時間がかかります。

time parallel --jobs 64 --joblog out.txt -S:,R --env HTTPS_PROXY --env S3_DIR "aws s3 cp ${S3_DIR}part-{}.gz /my/path/" ::: `seq -f "%05g" 0 1000`

その結果、私は得る

R への接続がリモート ホストによって閉じられました。

これは、リモート ピアの sshd 構成が原因であり、これらの設定を変更できません (マシンは私のものではありません)。

ドキュメントを見ると、キープアライブのようなものは見つかりません。この問題を回避するにはどうすればよいですか? ありがとうございました。

4

1 に答える 1

0

sshd_config を変更できない場合がありますが、多くの場合、ssh によって指定されたオプションが尊重されます。

ssh -o TCPKeepAlive ...

この場合、GNU Parallel に別の ssh コマンドを使用させることができます。

parallel -S '/path/to/different/ssh_command -o KeepAlive server' echo ::: foo
于 2014-10-23T22:42:00.077 に答える