問題タブ [giraph]

さまざまなタイプのノードと関係を含むグラフがあります。ノードの各タイプには、3 ～ 4 個のプロパティがあります。HDFS でのテスト目的で、GraphSON ファイルを使用してこのグラフを保存しています。ここで、Giraph を使用してこのグラフを分析したいと思います。Giraph の IO クラスを調べたところ、Gremlin が GraphSON を直接ロードできることもわかりました。TinkerPop スタックを使用して Giraph にグラフをロードする方法を教えてください。

私は Giraph の初心者なので、私の質問には明らかな回答があるかもしれません。

すべての頂点が収束したときに停止し、その後いくつかの計算を行う必要があるアルゴリズムを Giraph に実装しています。

私のアプローチは、収束したらすべての頂点を停止し、残りの作業を続け、すべてが停止したら最終的な計算を行うことでした。しかし、私はそのようにする方法がわかりません。

私の最初のアイデアは正しくないように思われるので、頂点のステータスを格納するフラグを持つアグリゲーターを使用することを考えています。プロセス中に頂点を停止せず、フラグがアクティブになったら最終的な計算を実行して停止します頂点。

これらのうち、ベストプラクティスまたはそれを行う唯一の方法はどれですか? または、他の方法で行う必要がありますか？

ありがとう！

Simple Shortest Paths Computation クラスを読んでいました。ここ: https://apache.googlesource.com/giraph/+/3d4f31343c3686435696e75ce88a75c9bffb024e/giraph-examples/src/main/java/org/apache/giraph/examples/SimpleShortestPathsComputation.java

このクラスで Log を作成することはできませんでした。ログ関連のものをすべてコメントしても、プログラムは正常に動作します。

Giraph アプリケーションにカスタム パーティショニング アルゴリズムを使用することが言及されています。しかし、それはどこにも明確に与えられていません。Castagna がここで指摘したように、pregel のグラフを分割して処理速度を最大化する方法は? ほとんどの場合、HashPartitioner 自体は非常に優れているため、このようなパーティショニングは必要ない場合があります。

実行時間を最小限に抑えるためにグラフを「インテリジェントに」分割する問題は興味深いものですが、単純ではなく、データとアルゴリズムに依存します。また、実際にはその必要はなく、ランダムなパーティション分割で十分であることに気付くかもしれません。

たとえば、Pregel のようなアプローチに興味がある場合は、Apache Giraph を見て、さまざまなパーティショニング手法を試すことができます。

ただし、学習の目的で、実際の例を見るのは良いことですが、私が見た限りでは何も見つかりませんでした。たとえば、通常の k-way パーティショニング アルゴリズム (Kerninghan-Lin) が Giraph で実行されているか、少なくとも実装すべき方向です。

すべてのGoogleの結果は、関数の定義とそれらを使用するためのさまざまなオプションのみがあるApache giraphページからのものでした。