3

最近clodera4b1にアップグレードしました。アップグレードする前は、mapreduceジョブは正常に実行されていましたが、mapreduceプログラムを実行すると、次のエラーが発生します。

コマンド実行：

hadoop jar /usr/lib/hadoop/hadoop-mapreduce-examples-0.23.0-cdh4b1.jar grep *.xml /user/out/ 'dfs'


12/04/10 19:23:15 INFO mapreduce.Cluster: Failed to use org.apache.hadoop.mapred.LocalClientProtocolProvider due to error: Invalid "mapreduce.jobtracker.address" configuration value for LocalJobRunner : "dev-xxx:yyyy"
12/04/10 19:23:15 ERROR security.UserGroupInformation: PriviledgedActionException as:anchauhan (auth:SIMPLE) cause:java.io.IOException: Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name and the correspond server addresses.
Exception in thread "main" java.io.IOException: Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name and the correspond server addresses.
    at org.apache.hadoop.mapreduce.Cluster.initialize(Cluster.java:123)
    at org.apache.hadoop.mapreduce.Cluster.<init>(Cluster.java:85)
    at org.apache.hadoop.mapreduce.Cluster.<init>(Cluster.java:78)
    at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1185)
    at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1181)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:396)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1167)
    at org.apache.hadoop.mapreduce.Job.connect(Job.java:1180)
    at org.apache.hadoop.mapreduce.Job.submit(Job.java:1209)
    at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1233)
    at com.nextag.mapred.MerchantImport.doTask(MerchantImport.java:221)
    at com.nextag.mapred.Main.main(Main.java:9)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
    at java.lang.reflect.Method.invoke(Method.java:597)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:200)

また、カスタムマップされたジョブの場合、jarファイルのコンパイル中にライブラリファイルを新しいものに変更しましたが、成功しませんでした

4

1 に答える 1

3

同じ例外がありました。その理由は、pom ファイルに間違った依存関係があったためです。ヤーン用の hadoop-client バージョン 2.0.0-cdh4.0.0 を指定していましたが、MRv1 を使用しているため、2.0.0-mr1-cdh4.0.0 を指定する必要がありました。依存関係に糸の jar ファイルを含めないでください。

参照

于 2012-08-07T23:24:41.217 に答える