問題タブ [giraph]

I am trying to run the shortest paths example from the giraph incubator (https://cwiki.apache.org/confluence/display/GIRAPH/Shortest+Paths+Example). However instead of executing the example from the giraph-*-dependencies.jar, I have created my own job jar. When I created a single Job file as presented in the example, I was getting

Then I have moved the inner classes (SimpleShortestPathsVertexInputFormat and SimpleShortestPathsVertexOutputFormat) to separates files and renamed them just in case (SimpleShortestPathsVertexInputFormat_v2, SimpleShortestPathsVertexOutputFormat_v2); the classes are not static anymore. This have solved the issues of class not found for the SimpleShortestPathsVertexInputFormat_v2, however I am still getting the same error for the SimpleShortestPathsVertexOutputFormat_v2. Below is my stack trace.

I have inspected my job jar and all classes are there. Furthermore I am using hadoop 0.20.203 in a pseudo distributed mode. The way I launch my job is presented below.

Also I have defined HADOOP_CLASSPATH for the giraph-*-dependencies.jar. I can run the PageRankBenchmark example without a problem (directly from the giraph-*-dependencies.jar), and the shortes path example works as well (also directly from the giraph-*-dependencies.jar). Other hadoop jobs work without a problem (somewhere I have read to test if my "cluster" works correctly). Does anyone came across similar problem? Any help will be appreciated.

Solution (sorry to post it like this but I can't answer my own question for a couple of more hours)

To solve this issue I had to add my Job jar to the -libjars (no changes to HADOOP_CLASSPATH where made). The command to launch job now looks like this.

List of jars has to be comma separated. Though this has solved my problem. I am still curious why I have to pass my job jar as a "classpath" parameter? Can someone explain me what is the rational behind this? As I found it strange (to say the least) to invoke my job jar and then pass it again as a "classpath" jar. I am really curious about the explanation.

giraph-formats jar をビルドしようとしています...依存関係があります..プロジェクトに使用しますが、ビルドが成功した後でも、jar ファイルを取得できません。

アセンブリ パーツを pom に追加して、依存関係のある jar を構築しようとしましたが、ハイブの定義がほとんどないため、解決がさらに困難なエラーが発生します。何が悪いのかわかりません。

私はmaven 3.04とhadoop 0.20.2を使用しています

実行するコマンド:

解決できない警告が 2 つあります。

結果 ：

以下に貼り付けた giraph 形式のデフォルトの pom .....

私はジラフを構築しようとしています。私は次のものを持っています: Java バージョン "1.7.0_25"、Apache Maven 3.0.4、Hadoop 1.0.4。このページの指示に従っています: https://cwiki.apache.org/confluence/display/GIRAPH/Quick+Start+Guide

mvn compile を実行すると、次のエラーが表示されます。

mvn –Phadoop_non_secure compile を実行しようとしましたが、次のエラーが表示されます。

オンライン ソース リポジトリも試しましたが、それでも同じエラーが発生します。誰かがこの問題を解決するのを手伝ってくれますか?

PATH および CLASSPATH に何を追加すればよいですか?

独自の計算 (MergeComputation) を作成しました。プロジェクトを単一ノードで実行すると、エラー java.lang.ClassNotFoundException が発生します。

これは私がロードしている方法です：

私はすべての可能なことを試しました：

私の HADOOP_CLASSPATH:

次のエラーが表示されます

誰かが私を助けてくれませんか。

クイックスタート ページ ( http://giraph.apache.org/quick_start.html )で説明している apache giraph の例の最新バージョンを実行しようとしています。CDH 4.4.0 (Hadoop の Cloudera ディストリビューション) を使用しています。依存関係を CDH 4.4.0 に更新して Giraph をビルドしました。すべてうまくいきました

例を実行すると、次の出力が得られました

ジョブログに例外が表示されます:

ファイル_bsp/_defaultZkManagerDir/job_201310021452_0015/_zkServerが作成される場合と作成されない場合があります。

この問題を探すためのヒントを教えてください。

BR コンラッド

交換と Giraph をスタックするのは初めてなので、間違いを見逃さず、明確な質問があれば質問してください。

OS: Ubuntu 13.10

Hadoop/Yarn: hadoop-2.2.0/ (2 ノード クラスター)

Giraph: 1.0.0 (編集: トランク)

次の例を実行しようとすると、NullPointerException (NPE) が発生します。

$ hadoop jar $GIRAPH_HOME/giraph-examples/target/giraph-examples-1.1.0-SNAPSHOT-for-hadoop-2.2.0-jar-with-dependencies.jar org.apache.giraph.GiraphRunner org.apache.giraph. examples.SimpleShortestPathsComputation -vif org.apache.giraph.io.formats.JsonLongDoubleFloatDoubleVertexInputFormat -vip /user/hduser/rrdata/tiny_graph.txt -vof org.apache.giraph.io.formats.IdWithValueTextOutputFormat -op /user/hduser/rrdata/出力/tiny_graph.out -w 1

スタックトレース：

スレッド「メイン」での例外 java.lang.NullPointerException at org.apache.giraph.yarn.GiraphYarnClient.checkJobLocalZooKeeperSupported(GiraphYarnClient.java:460) at org.apache.giraph.yarn.GiraphYarnClient.run(GiraphYarnClient.java:116) at org.apache.giraph.GiraphRunner.run(GiraphRunner.java:96) で org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70) で org.apache.hadoop.util.ToolRunner.run(ToolRunner. java:84) org.apache.giraph.GiraphRunner.main(GiraphRunner.java:126) で sun.reflect.NativeMethodAccessorImpl.invoke0(ネイティブ メソッド) で sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) でorg.apache.hadoop.util の java.lang.reflect.Method.invoke(Method.java:606) の .reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)RunJar.main(RunJar.java:212)

どうやら飼育員関係のようです。Zookeeper をインストールしましたが、構成が間違っているように見える前に使用していませんでした。関連するオプションを試してみまし-Dgiraph.zkList=hostname:portたが、「認識されないオプション」例外が発生します。

このシナリオに適した飼育係の設定を探しています。わかりましたら返信を差し上げます。