YARN クラスター (Hadoop 2.5.2) で Giraph を実行しようとしていますが、次のエラーで立ち往生しています。
Could not find or load main class org.apache.giraph.yarn.GiraphApplicationMaster
このトピックに関する以前のメッセージで見つけることができるすべてを試しましたが、役に立ちませんでした。私のコマンドラインは次のようなものです:
hadoop jar /home/prhodes/giraph/giraph-examples/target/giraph-examples-1.2.0-SNAPSHOT-for-hadoop-2.5.2-jar-with-dependencies.jar org.apache.giraph.GiraphRunner org.apache.giraph.examples.SimpleShortestPathsComputation -vif org.apache.giraph.io.formats.JsonLongDoubleFloatDoubleVertexInputFormat -vip /user/prhodes/input/tiny_graph.txt -vof org.apache.giraph.io.formats.IdWithValueTextOutputFormat -op /user/prhodes/giraph_output/shortestpaths -w 4 -yj /home/prhodes/giraph/giraph-examples/target/giraph-examples-1.2.0-SNAPSHOT-for-hadoop-2.5.2-jar-with-dependencies.jar,/home/prhodes/giraph/giraph-core/target/giraph-1.2.0-SNAPSHOT-for-hadoop-2.5.2-jar-with-dependencies.jar
これらの jar がクラスター内の各ノードのこれらの場所にあることを確認しました。また、jar ファイルに GiraphApplicationMaster.class が含まれていることも確認しました。それでも、GiraphApplicationMaster が見つからないという不平を言っています。
他に何が問題を引き起こしているのか、または回避策はありますか? Giraph jar を各ノードに配布し、Hadoop クラスパスに物理的に配置することを考えましたが、Maven ビルドはデフォルトでファット jar をビルドするため、おそらく問題が発生する可能性があります。他に提案やアイデアはありますか?