amazon-s3 - 日付範囲を選択するために s3distcp を使用する方法は?

Question

名前にタイムスタンプが付いた s3 で以下のようなログがあります。ハイブを使用できるように、s3distcp を使用して EMR にデータを取得したいと考えています。

https://s3.amazonaws.com/mybucket/test/201305031003_0_ubuntu.gz
https://s3.amazonaws.com/mybucket/test/201305031004_0_ubuntu.gz
https://s3.amazonaws.com/mybucket/test/201305031005_0_ubuntu.gz
https://s3.amazonaws.com/mybucket/test/201305031006_0_ubuntu.gz

s3distcp を使用して日付範囲を選択するにはどうすればよいですか? 例: 201303031003 から 201305031003 まで? 2ヶ月の差です

Answer 1

--srcPattern s3distcp オプションを使用して、コピーする月のみを選択する正規表現を指定できます。