0

Amazon でカスタム jar EMR ジョブを実行しようとしていますが、jar ファイルに lucene jar ファイルへの参照があります。s3 の lib ディレクトリに jar ファイルがあり、Jar 引数は次のようになります。

MyMainClass -libjars s3n://mybucket/lib/lucene-core-3.6.1.jar s3n://mybucket/myinput s3n://mybucket/myoutput

ジョブが失敗し、次のエラーが発生し続けます。

java.lang.NoClassDefFoundError: org/apache/lucene/analysis/Analyzer at java.lang.Class.forName0(Native Method) at java.lang.Class.forName(Class.java:247) at org.apache.hadoop.conf .Configuration.getClassByName(Configuration.java:861) at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:906) at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:932) at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:932) org.apache.hadoop.mapred.JobConf.getMapperClass(JobConf.java:959) at org.apache.hadoop.mapred.MapRunner.configure(MapRunner.java:34) ... 14 以上原因: java.lang.ClassNotFoundException : org.apache.lucene.analysis.Analyzer at java.net.URLClassLoader$1.run(URLClassLoader.java:202) at java.security.AccessController.doPrivileged(Native Method) at java.net.URLClassLoader.findClass(URLClassLoader.java) :190) java.lang.ClassLoader.loadClass(ClassLoader.java:306) at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301) at java.lang.ClassLoader.loadClass(ClassLoader.java:247) ... 21 詳細

lucene jar ファイルが見つからないようです...何が欠けていますか?

4

1 に答える 1

1

ランナー クラスが Tool インターフェイスを実装している場合、Hadoop がGenericOptionsParserバックグラウンドで呼び出され、-libjarsパラメータが自動的に取得されます。

于 2012-08-28T10:12:38.397 に答える