問題タブ [giraph]

I am trying to run the shortest paths example from the giraph incubator (https://cwiki.apache.org/confluence/display/GIRAPH/Shortest+Paths+Example). However instead of executing the example from the giraph-*-dependencies.jar, I have created my own job jar. When I created a single Job file as presented in the example, I was getting

Then I have moved the inner classes (SimpleShortestPathsVertexInputFormat and SimpleShortestPathsVertexOutputFormat) to separates files and renamed them just in case (SimpleShortestPathsVertexInputFormat_v2, SimpleShortestPathsVertexOutputFormat_v2); the classes are not static anymore. This have solved the issues of class not found for the SimpleShortestPathsVertexInputFormat_v2, however I am still getting the same error for the SimpleShortestPathsVertexOutputFormat_v2. Below is my stack trace.

I have inspected my job jar and all classes are there. Furthermore I am using hadoop 0.20.203 in a pseudo distributed mode. The way I launch my job is presented below.

Also I have defined HADOOP_CLASSPATH for the giraph-*-dependencies.jar. I can run the PageRankBenchmark example without a problem (directly from the giraph-*-dependencies.jar), and the shortes path example works as well (also directly from the giraph-*-dependencies.jar). Other hadoop jobs work without a problem (somewhere I have read to test if my "cluster" works correctly). Does anyone came across similar problem? Any help will be appreciated.

Solution (sorry to post it like this but I can't answer my own question for a couple of more hours)

To solve this issue I had to add my Job jar to the -libjars (no changes to HADOOP_CLASSPATH where made). The command to launch job now looks like this.

List of jars has to be comma separated. Though this has solved my problem. I am still curious why I have to pass my job jar as a "classpath" parameter? Can someone explain me what is the rational behind this? As I found it strange (to say the least) to invoke my job jar and then pass it again as a "classpath" jar. I am really curious about the explanation.

giraph-formats jar をビルドしようとしています...依存関係があります..プロジェクトに使用しますが、ビルドが成功した後でも、jar ファイルを取得できません。

アセンブリ パーツを pom に追加して、依存関係のある jar を構築しようとしましたが、ハイブの定義がほとんどないため、解決がさらに困難なエラーが発生します。何が悪いのかわかりません。

私はmaven 3.04とhadoop 0.20.2を使用しています

実行するコマンド:

解決できない警告が 2 つあります。

結果 ：

以下に貼り付けた giraph 形式のデフォルトの pom .....

私はジラフを構築しようとしています。私は次のものを持っています: Java バージョン "1.7.0_25"、Apache Maven 3.0.4、Hadoop 1.0.4。このページの指示に従っています: https://cwiki.apache.org/confluence/display/GIRAPH/Quick+Start+Guide

mvn compile を実行すると、次のエラーが表示されます。

mvn –Phadoop_non_secure compile を実行しようとしましたが、次のエラーが表示されます。

オンライン ソース リポジトリも試しましたが、それでも同じエラーが発生します。誰かがこの問題を解決するのを手伝ってくれますか?

PATH および CLASSPATH に何を追加すればよいですか?

独自の計算 (MergeComputation) を作成しました。プロジェクトを単一ノードで実行すると、エラー java.lang.ClassNotFoundException が発生します。

これは私がロードしている方法です：

私はすべての可能なことを試しました：

私の HADOOP_CLASSPATH:

次のエラーが表示されます

誰かが私を助けてくれませんか。

クイックスタート ページ ( http://giraph.apache.org/quick_start.html )で説明している apache giraph の例の最新バージョンを実行しようとしています。CDH 4.4.0 (Hadoop の Cloudera ディストリビューション) を使用しています。依存関係を CDH 4.4.0 に更新して Giraph をビルドしました。すべてうまくいきました

例を実行すると、次の出力が得られました

ジョブログに例外が表示されます:

ファイル_bsp/_defaultZkManagerDir/job_201310021452_0015/_zkServerが作成される場合と作成されない場合があります。

この問題を探すためのヒントを教えてください。

BR コンラッド

交換と Giraph をスタックするのは初めてなので、間違いを見逃さず、明確な質問があれば質問してください。

OS: Ubuntu 13.10

Hadoop/Yarn: hadoop-2.2.0/ (2 ノード クラスター)

Giraph: 1.0.0 (編集: トランク)

次の例を実行しようとすると、NullPointerException (NPE) が発生します。

$ hadoop jar $GIRAPH_HOME/giraph-examples/target/giraph-examples-1.1.0-SNAPSHOT-for-hadoop-2.2.0-jar-with-dependencies.jar org.apache.giraph.GiraphRunner org.apache.giraph. examples.SimpleShortestPathsComputation -vif org.apache.giraph.io.formats.JsonLongDoubleFloatDoubleVertexInputFormat -vip /user/hduser/rrdata/tiny_graph.txt -vof org.apache.giraph.io.formats.IdWithValueTextOutputFormat -op /user/hduser/rrdata/出力/tiny_graph.out -w 1

スタックトレース：

スレッド「メイン」での例外 java.lang.NullPointerException at org.apache.giraph.yarn.GiraphYarnClient.checkJobLocalZooKeeperSupported(GiraphYarnClient.java:460) at org.apache.giraph.yarn.GiraphYarnClient.run(GiraphYarnClient.java:116) at org.apache.giraph.GiraphRunner.run(GiraphRunner.java:96) で org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70) で org.apache.hadoop.util.ToolRunner.run(ToolRunner. java:84) org.apache.giraph.GiraphRunner.main(GiraphRunner.java:126) で sun.reflect.NativeMethodAccessorImpl.invoke0(ネイティブ メソッド) で sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) でorg.apache.hadoop.util の java.lang.reflect.Method.invoke(Method.java:606) の .reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)RunJar.main(RunJar.java:212)

どうやら飼育員関係のようです。Zookeeper をインストールしましたが、構成が間違っているように見える前に使用していませんでした。関連するオプションを試してみまし-Dgiraph.zkList=hostname:portたが、「認識されないオプション」例外が発生します。

このシナリオに適した飼育係の設定を探しています。わかりましたら返信を差し上げます。

GraphLab を実行するために Amazon の EC2 クラスターを使用しています。彼ら.pemは、私の秘密鍵であるファイルの場所を知りたがっています。

検索した後も、ubuntuでファイルが見つかりませんでした。PuTTY を使用しています。

EMR で Apache Giraph を試したことがありますか?

EMR で実行するための唯一の要件は、適切なブートストラップ スクリプトをジョブ フロー構成に追加することだけだと思います。次に、標準のカスタム JAR 起動ステップを使用して、Giraph プログラムに適切な引数を指定して Giraph Runner を起動するだけです。

ドキュメンテーション/チュートリアル、または EMR で Giraph との経験を共有できる場合は、非常に高く評価されます。

giraph の着信エッジにメッセージを送信する方法はありますか? または、すべての発信エッジにメッセージを送信する代わりに、特定のエッジ (タイプまたはラベルなど) を介してメッセージを送信する方法はありますか?

Hadoop バージョン 0.20.203 で Apache Giraph バージョン 1.0 を使用しています。ConnectedComponentsVertex と SimpleShortetPathsVertex、apache giraph の例、ジョブを正常に実行しますが、問題があります。ジョブが終了した後、メモリの割り当ては解除されません。システム モニターが示すように、ジョブ用に作成された Java プロセスはまだ有効です。この問題が発生した理由がわかりません。それはギラフのバグですか、それとも私が何か間違ったことをしていますか??? Ubuntu 11.10 と Java 1.6 を使用しています。どんな助けでも大歓迎です。

ありがとう