問題タブ [giraph]

興味深いことに、Giraph のワーカー API ドキュメントに、このメソッドに関する説明があります。

メソッドで受け入れられたメッセージを使用していることは知っていますcompute()が、いつ受信するのでしょうか? チェックポイント プロセスの前にある場合、それを理解できるドキュメント/コードの部分はありますか?

また、Giraph がスーパーステップ S+1 の前にメッセージを保存するために使用するメカニズムは何ですか? 最初にバッファまたはディスクに保存しますか?

これに関するGiraphのドキュメントには何も見つかりません。

tiny_graph.txt を使用してサンプルの SimpleShortestPathsComputation を実行すると問題が発生します。Mapパートの後のReduce Partの工程でいつも行き詰まります。常に 100% のマップと 0% の縮小マップが表示され、常にハングします。Web で解決策を探すのに苦労している。誰もこの問題に遭遇しましたか? ちなみに私のhadoopのバージョンは1.2.1で、giraphは1.1.0です。ありがとうございました！

hadoop 2.6.0糸でジラフを使おうとしています。

STATIC_SASL_SYMBOLの を削除することで、なんとかビルドできまし<munge.symbols>たyarn profile。コマンドで：

次に、hadoop 2.6.0 を使用して単一ノード クラスターをセットアップし、基本的なワードカウントの例を実行することができました。ディレクトリにビルドされたjarをコピーして、見つからない実行share/hadoop/mapreduceを削除しました。GiraphMaster

今、私はSimpleShortestPathsコマンドで例を実行しようとしています:

使用されるデータは、giraph クイック スタート ページの小さなグラフであり、ジョブが完了するまでに数分かかるはずですが、そうではありません。

完全なログはhttp://pastebin.com/CW1FnWz2にあります

giraph を hadoop 2.6.0 で動作させることは可能ですか、それとも以前のバージョンを使用する必要がありますか? もしそうなら、どれを提案しますか？

タイトルのように: Apache Giraph で前任者にメッセージを送信することは可能ですか? さらに重要なことは、それが推奨されることです (私はそれが役立つかもしれないいくつかのアプリケーションを見つけることができます)。

グラフ処理の方法とツールへの遠足を始めたところです。私たちが基本的に行っていること - ページランク、クラスタリング係数、トライアングル数、直径、接続性などのいくつかの標準メトリックをカウントします。以前は Octave に満足していましたが、10^9 ノード/エッジとしましょう。 .

したがって、可能なソリューションは、Hadoop/Giraph、Spark/GraphX、それらの上に Neo4j などで作成された分散クラウドです。

しかし、私は初心者なので、実際に何を選ぶべきか誰かアドバイスできますか? Spark/GraphX を使用する場合と Neo4j を使用する場合の違いがわかりませんでした。今のところ、Spark/GraphX を検討しています。Python に似た構文が多く、neo4j には独自の Cypher があるためです。neo4j でのビジュアライゼーションはクールですが、このような大規模では役に立ちません。追加レベルのソフトウェア (neo4j) を使用する理由があるのか​​ 、それとも単に Spark/GraphX を使用するのかわかりません。純粋な Hadoop と Giraph、GraphX、または Hive を使用した場合のように、neo4j はそれほど時間を節約できないことを理解していたので。

ありがとうございました。