0

マッパーとリデューサーがサードパーティの jar を使用する必要がある M/R ジョブを実行できます。hadoop jar コマンドを呼び出しながら、これらの jar を -libjars に登録しています。ただし、ジョブドライバー自体（ Configured implements Tool を拡張）がそのようなコードを実行する必要がある場合（たとえば、開始時と終了時にリモートサービスに通知するなど）、奇妙な問題に直面しています。Hadoop jar を使用してジョブを送信するときにクラスパスを構成する方法はありますか? この場合 -libjars は機能しないようです...

Exception in thread "main" java.lang.NoClassDefFoundError: com/me/context/DefaultContext
        at java.lang.ClassLoader.defineClass1(Native Method)
        at java.lang.ClassLoader.defineClassCond(ClassLoader.java:632)
        at java.lang.ClassLoader.defineClass(ClassLoader.java:616)
        at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:141)
        at java.net.URLClassLoader.defineClass(URLClassLoader.java:283)
        at java.net.URLClassLoader.access$000(URLClassLoader.java:58)
        at java.net.URLClassLoader$1.run(URLClassLoader.java:197)
        at java.security.AccessController.doPrivileged(Native Method)
        at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:307)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:248)
        at com.me.bigdata.mr.pnm.PnmDataCruncher.run(PnmDataCruncher.java:50)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:79)
        at com.me.mr.pnm.PnmMR.main(PnmDataCruncher.java:261)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:597)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:156)
Caused by: java.lang.ClassNotFoundException: com.me.context.DefaultContext
        at java.net.URLClassLoader$1.run(URLClassLoader.java:202)
        at java.security.AccessController.doPrivileged(Native Method)
        at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:307)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:248)

export HADOOP_CLASSPATH_USER_FIRST=true と -Dmapreduce.task.classpath.user.precedence=true を使用しようとしましたが、それでもエラーが発生します。

Hadoop 1.0.4 を実行しています。

4

1 に答える 1

0

どうですか

HADOOP_CLASSPATH=jar1:jar2    hadoop jar your_jar  your_class ...........

シェルコマンドの1行ですべてを作成します

于 2013-03-11T03:02:32.447 に答える