問題タブ [giraph]

私はApache Giraphの初心者です。私の質問は、Giraph グラフのパーティショニングに関連しています。私の知る限り、Giraph は大きなグラフをランダムに分割します...おそらく #partitions>#workers で負荷分散を行います。しかし、私の質問は、#partitions/worker は常に整数ですか? 別の言い方をすれば、パーティション (p1 など) の一部がワーカー w1 とワーカー w2 に存在することはあり得るでしょうか? または、p1 は全体として w1 または w2 のいずれかにある必要がありますか?

それで、私はたくさん探し回っていましたが、私の質問に対する良い答えが見つかりませんでした。これは私を夢中にさせています. Gradle を使用して Giraph プロジェクトで自動テストを実行しようとしています。私はgradleの初心者です。まず始めに、SimpleShortestPathComputation クラスのテスト コードをプロジェクトにコピーして、テストを実行できるようにしました。gradle testただし、次のエラーが表示されます。

私は完全に標準的なプロジェクト ディレクトリ構造を使用しています。これが私の build.gradle ファイルです。

問題なくコンパイルされ、依存関係として含めている jar ファイルには、NoClassDefFoundError と表示されているクラスが含まれています (によるとjar tf)。私が間違っていることはありますか？前もって感謝します。

関連する頂点情報を含むテキスト ファイルを Giraph に読み込もうとしています: 各行は

vertex_id attribute_1 attribute_2 .....attribute_n

各属性は文字列です。

目標は、これらすべての属性が頂点の値の一部である頂点を作成することです。

さまざまな入力形式を調べると、すぐに使えるものは何も見つからなかったので、頂点入力クラスをVertexValueInputFormatから派生させる必要があると思います (エッジ用に別のリーダーがあります)。

問題は次のとおりです。String[] 配列を含む Value クラスを作成しましたが、Giraph/Hadoop に渡すにはどうすればよいですか? 以下は、1 行のリーダーです。

https://giraph.apache.org/giraph-core/apidocs/org/apache/giraph/io/formats/TextVertexValueInputFormat.TextVertexValueReaderFromEachLine.html

protected abstract V getValue(org.apache.hadoop.io.Text 行)

V はArrayWritableになると考えられていましたが、気に入らないようです。

どんな手掛かり？ありがとう

私はGiraphに比較的慣れていないので、Giraphの編集-コンパイル-展開ループをコードで機能させようとしています。http://blog.cloudera.com/blog/2014/02/how-to-write-and-run-giraph-jobs-on-hadoop/に触発されたさまざまな例を実行できますが、行き詰まっていますSimpleShortestPathsVertex Giraph の例の修正版を実行すると、ClassNotFoundException が発生しました。-libjars と HADOOP_CLASSPATH のさまざまな組み合わせを試しましたが、アイデアがありません。助けていただければ幸いです。詳細は次のとおりです。

バージョン

• Hadoop: Hadoop 2.0.0-cdh4.4.0
• Giraph: giraph-examples-1.0.0-for-hadoop-2.0.0-alpha-jar-with-dependencies.jar

PageRankBenchmark は正常に実行されます

GiraphRunner SimpleShortestPathsVertex も正常に実行されます

おまけ: 結果は正しいです:

しかし、SimpleShortestPathsVertex の私の変更されたバージョンは ClassNotFoundException を取得します

変更された頂点 (KdlSimpleShortestPathsVertex、パッケージなし) を含む jar は問題ありません。

しかし、私のランは吐きます：

私の最善の推測...

...周りを見回した後、 GiraphRunnerが -libjars を正しく処理していない可能性があります。 ）。Giraph のソースを参照すると、アクセスしたクラスが表示されません。jar に HADOOP_CLASSPATH を設定しようとしましたが、問題は解決しませんでした。

どんな助けでも素晴らしいでしょう！

PageRankBenchmark の出力

SimpleShortestPathsVertex 出力

だから、Hadoop 2.3.0-cdh5.1.0 をクラスターにインストールしました...そして、次のコマンドを使用して giraph をコンパイルしました..コンパイルは正常に機能し、pagerankmvn clean package -DskipTests -Dhadoop=non_secure -Phadoop_2.0.0 ベンチマークも成功しました..だから、私は推測していますgiraph は問題なくコンパイルされました。

今、私は自分のコードを実行しようとしています..

私は知っています、それは不完全なコマンドですが、すでに不平を言っています.. :-/

私のPOMファイルは次のようになります：

これを解決するにはどうすればよいですか? ありがとう

RandomWalkWith Restart の例を実行しようとしています https://github.com/apache/giraph/blob/release-1.0/giraph-examples/src/main/java/org/apache/giraph/examples/RandomWalkWithRestartVertex.java 私の入力はデータは 12 34 56 34 78 56 34 78 78 34

そして私は走っています

しかし、私はこのエラーが発生しています.. :-/

なぜマニフェストファイルを読んでいるのですか..ディレクトリではなくファイルを読むように具体的に言っているのですか?

「訪問した」頂点 ID を渡すグラフ計算があり、出力フェーズでそれらから情報を出力する必要があります。ID から頂点を検索するにはどうすればよいですか? Partition.getVertex()を見つけましたが、IIUC には任意の頂点が特定のパーティションにあるという保証はありません。前もって感謝します。