AWS EMR (AMI 5.2) でジョブを実行しています。S3 に大きなファイルがあり、s3-dist-cp
. これが私が使用しているコマンドです:
s3-dist-cp --src=s3://my-bucket/dir1/ --dest=s3://my-bucket/dir2/ --groupBy='(.*)' --targetSize=2
エラーは発生せず、グループ化は正常に機能しているようです (他の正規表現を使用している場合でも)。ただし、ターゲットのサイジングは何もしません。ファイルは単に宛先にコピーされており、分割されていません。この場合のソース ファイルは 50MB です。