S3 に次のようなファイルがあります。
1-2013-08-22-22-something
2-2013-08-22-22-something
etc
srcPattern がなければ、バケットからすべてのファイルを簡単に取得できますが、特定のプレフィックス、たとえばすべての 1 を取得したいと考えています。srcPattern を使用してみましたが、何らかの理由でファイルを取得できません。
私の現在のコマンドは次のとおりです。
elastic-mapreduce --jobflow $JOBFLOW --jar /home/hadoop/lib/emr-s3distcp-1.0.jar \
--args '--src,s3n://some-bucket/,--dest,hdfs:///hdfs-input,--srcPattern,[0-9]-.*' \
--step-name "copying over s3 files"