うーん、これから何を作るべきかよくわかりません。
S3 から EC2 マシンに 50 個のファイルをダウンロードしようとしています。私は走った：
for i in `seq -f "%05g" 51 101`; do (aws s3 cp ${S3_DIR}part-${i}.gz . &); 終わり
数分後、pgrep -f aws をチェックしたところ、50 個のプロセスが実行されていることがわかりました。さらに、すべてのファイルが作成され、ダウンロードが開始されました (ファイルが大きいため、ダウンロードに時間がかかることが予想されます)。
ただし、最終的には、ファイルのサブセットのみを取得しました。
$ ls part-00051.gz part-00055.gz part-00058.gz part-00068.gz part-00070.gz part-00074.gz part-00078.gz part-00081.gz part-00087.gz part-00091.gz part-00097.gz part-00099.gz part-00101.gz part-00054.gz part-00056.gz part-00066.gz part-00069.gz part-00071.gz part-00075.gz part-00080.gz part-00084.gz part-00089.gz part-00096.gz part-00098.gz part-00100.gz
残りはどこですか??
エラーは表示されませんでしたが、正常に完了したファイルに対して次のエラーが表示されました (これらは上記の ls 出力に表示されているファイルです)。
ダウンロード: s3://my/path/part-00075.gz から ./part-00075.gz