6

EMR のワークフローを使用して s3 から hdfs にファイルをコピーしようとしています。以下のコマンドを実行すると、ジョブフローは正常に開始されますが、ファイルを HDFS にコピーしようとするとエラーが発生します。入力ファイルのアクセス許可を設定する必要がありますか?

指示：

./elastic-mapreduce --jobflow j-35D6JOYEDCELA --jar s3://us-east-1.elasticmapreduce/libs/s3distcp/1.latest/s3distcp.jar --args '--src,s3://odsh /input/,--dest,hdfs:///Users

出力

タスク TASKID="task_201301310606_0001_r_000000" TASK_TYPE="REDUCE" TASK_STATUS="FAILED" FINISH_TIME="1359612576612" ERROR="java.lang.RuntimeException: Reducer タスクが 1 ファイルのコピーに失敗しました: s3://odsh/input/GL_01112_20121019.dat などcom.amazon.external.elasticmapreduce.s3distcp.CopyFilesReducer.close(CopyFilesReducer.java:70) で org.apache.hadoop.mapred.ReduceTask.runOldReducer(ReduceTask.java:538) で.run(ReduceTask.java:429) at org.apache.hadoop.mapred.Child$4.run(Child.java:255) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject. org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1132) の doAs(Subject.java:396) org.apache.hadoop.mapred.Child.main(Child.java:249) の doAs(Subject.java:396)

4

4 に答える 4

2

ワーカーの数を調整してもうまくいきませんでした。s3distcp は、小規模/中規模のインスタンスで常に失敗しました。タスクジョブのヒープサイズを（経由で-D mapred.child.java.opts=-Xmx1024m）増やすと解決しました。

使用例:

hadoop jar /home/hadoop/lib/emr-s3distcp-1.0.jar 
    -D mapred.child.java.opts=-Xmx1024m 
    --src s3://source/
    --dest hdfs:///dest/ --targetSize 128
    --groupBy '.*\.([0-9]+-[0-9]+-[0-9]+)-[0-9]+\..*' 
    --outputCodec gzip
于 2014-10-02T04:44:23.293 に答える