0

s3 からローカル クラスタへの distcp 時に、マッパーの帯域幅を制限する必要があります。

そこで、 https: //repository.cloudera.com から hadoop-distcp-2.5.0-cdh5.2.0-20141009.063640-188.jar をダウンロードしました。

リンクは次のとおりです。 -20141009.063640-188.jar

次にdistcpコマンドを実行しましたが、エラーが発生しました。私が何か間違ったことをしているかどうかわからない g

export HADOOP_USER_CLASSPATH_FIRST=true && HADOOP_CLASSPATH=hadoop-distcp-2.5.0-cdh5.2.0-20141009.063640-188.jar hadoop org.apache.hadoop.tools.DistCp -bandwidth 1 s3n://com.xyz/2014/10/23/ hdfs:///user/abc/2014-10-23/

14/11/05 09:54:55 INFO tools.DistCp: Input Options: DistCpOptions{atomicCommit=false,    syncFolder=false, deleteMissing=false, ignoreFailures=false, maxMaps=20, sslConfigurationFile='null', copyStrategy='uniformsize', sourceFileListing=null, sourcePaths=[s3n://com.xyz.rtb/2014/10/23], targetPath=hdfs:/user/abc/2014-10-23, targetPathExists=true, preserveRawXattrs=false}
Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.mapreduce.JobSubmissionFiles.getStagingDir(Lorg/apache/hadoop/mapreduce/Cluster;Lorg/apache/hadoop/conf/Configuration;)Lorg/apache/hadoop/fs/Path;
    at org.apache.hadoop.tools.DistCp.createMetaFolderPath(DistCp.java:379)
    at org.apache.hadoop.tools.DistCp.execute(DistCp.java:155)
    at org.apache.hadoop.tools.DistCp.run(DistCp.java:121)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
    at org.apache.hadoop.tools.DistCp.main(DistCp.java:401)

どんな助けでも

4

1 に答える 1

1

https://groups.google.com/a/cloudera.org/forum/#!topic/cdh-user/Ld60TY_Z-Jg

DistCp2 はデフォルトであり、MR2 では唯一の DistCp です。これは DistCp2 ではなく、単に DistCp と呼ばれます。

MR2 のコマンド「hadoop distcp」は、DistCp2 を実行します。

于 2015-06-08T06:58:25.530 に答える