問題タブ [giraph]

私は過去 10 日間から giraph に取り組んできました。与えられた例を Giraph にインストールして実行する方法についてのアイデアを得ました。しかし、私は自分のカスタム コードを設計したいので、あなたの助けが必要です。

仕事のグラフ処理ツールとしてGiraphを使いたいです。私は Mahout に精通しており、Hadoop を使用せずに Recommender System などの Mahout の一部を使用できることを知っています。ただ、これがGiraphでも同じなのか、Hadoopを使わなくても使えるのかはわかりません。

マルチノードの giraph クラスターが PC で正常に動作しています。Giraph から SimpleShortestPathExample を実行したところ、問題なく実行されました。

このアルゴリズムは、次のファイル (tiny_graph.txt) で実行されました。

このファイルの入力形式は次のとおりです。

今、私はこの同じアルゴリズムをこの同じクラスターで実行しようとしていますが、元のファイルとは異なる入力ファイルを使用しています。私自身のファイルは次のようなものです：

オリジナルと非常に似ていますが、ID は String で、頂点とエッジの値は Long です。私の質問は、これにどの TextInputFormat を使用する必要があるかということorg.apache.giraph.io.formats.JsonLongDoubleFloatDoubleVertexInputFormatですorg.apache.giraph.io.formats.TextDoubleDoubleAdjacencyListVertexInputFormat。

この問題が解決されたので、元の最短パスの例のアルゴリズムを適応させてファイルで機能させることができましたが、これに対する解決策が得られるまで、その点に到達することはできません。

この形式が適切な決定ではない場合は、おそらくそれを適応させることができますが、どれが私の最良の選択肢であるかはわかりません.giraphのテキスト入力および出力形式からの私の知識は本当に悪いです.

私は糸で BFS アルゴリズムを実行しており、頂点のデータ (Vertex Data) のカスタム値を作成しています。しかし、これを行った後、エッジを読み取るプロセスで問題が発生しました。

次のコード行までエラーを追跡します。

• ByteArrayEdges では、変数serializedEdgesBytesUsedが値1987015248を取得し、新しい配列が割り当てられると OutOfMemory エラーが発生します (私が知る限り、Java の制限は 64K です)。

  }

なぜこれが起こり始めたのかはわかりませんが、カスタム頂点データを使用する前は、この問題は存在しませんでした。

完全なログはここにあります（疑似分散クラスターでははるかに困難だったため、Eclipseから直接テストしています）：

これを実行するために使用される端末からの行は次のとおりです。

多分私は使用する必要がありEdgeInputFormatますか？

読んでくれてありがとう。

単一ノードの疑似ディストリビューションで SimpleShortestPathsComputation を既に実行しており、現在、Ubuntu 14.04 の 2 ノード クラスターで実行しようとしています。しかし、次のエラーが発生するたびに: (以下の完全なログ)

これは、NettyClient がポート 30001 で他のノードに接続できず、java.net.ConnectException: Connection refused: rofti/192.168.0.103:30001. ここで説明されているように、両方のノードでポートを開こうとしましたが 、すべてのホスト名が小文字のみで記述されていることを確認しました。しかし、それは何も変わりませんでした。皆さんが提供できる助けに本当に感謝しています。

ここにいくつかのファイルとログがあります:

iptables -L の出力:

ファイル: マスター (rofti-ex58-ud3r) 上の /etc/hosts:

Zookeeper 構成ファイル: conf/zoo.cfg

Syslog ログ 1:

Syslog ログ 2:

さまざまなタイプのノードと関係を含むグラフがあります。ノードの各タイプには、3 ～ 4 個のプロパティがあります。HDFS でのテスト目的で、GraphSON ファイルを使用してこのグラフを保存しています。ここで、Giraph を使用してこのグラフを分析したいと思います。Giraph の IO クラスを調べたところ、Gremlin が GraphSON を直接ロードできることもわかりました。TinkerPop スタックを使用して Giraph にグラフをロードする方法を教えてください。

私は Giraph の初心者なので、私の質問には明らかな回答があるかもしれません。

すべての頂点が収束したときに停止し、その後いくつかの計算を行う必要があるアルゴリズムを Giraph に実装しています。

私のアプローチは、収束したらすべての頂点を停止し、残りの作業を続け、すべてが停止したら最終的な計算を行うことでした。しかし、私はそのようにする方法がわかりません。

私の最初のアイデアは正しくないように思われるので、頂点のステータスを格納するフラグを持つアグリゲーターを使用することを考えています。プロセス中に頂点を停止せず、フラグがアクティブになったら最終的な計算を実行して停止します頂点。

これらのうち、ベストプラクティスまたはそれを行う唯一の方法はどれですか? または、他の方法で行う必要がありますか？

ありがとう！

Simple Shortest Paths Computation クラスを読んでいました。ここ: https://apache.googlesource.com/giraph/+/3d4f31343c3686435696e75ce88a75c9bffb024e/giraph-examples/src/main/java/org/apache/giraph/examples/SimpleShortestPathsComputation.java

このクラスで Log を作成することはできませんでした。ログ関連のものをすべてコメントしても、プログラムは正常に動作します。

Giraph アプリケーションにカスタム パーティショニング アルゴリズムを使用することが言及されています。しかし、それはどこにも明確に与えられていません。Castagna がここで指摘したように、pregel のグラフを分割して処理速度を最大化する方法は? ほとんどの場合、HashPartitioner 自体は非常に優れているため、このようなパーティショニングは必要ない場合があります。

実行時間を最小限に抑えるためにグラフを「インテリジェントに」分割する問題は興味深いものですが、単純ではなく、データとアルゴリズムに依存します。また、実際にはその必要はなく、ランダムなパーティション分割で十分であることに気付くかもしれません。

たとえば、Pregel のようなアプローチに興味がある場合は、Apache Giraph を見て、さまざまなパーティショニング手法を試すことができます。

ただし、学習の目的で、実際の例を見るのは良いことですが、私が見た限りでは何も見つかりませんでした。たとえば、通常の k-way パーティショニング アルゴリズム (Kerninghan-Lin) が Giraph で実行されているか、少なくとも実装すべき方向です。

すべてのGoogleの結果は、関数の定義とそれらを使用するためのさまざまなオプションのみがあるApache giraphページからのものでした。

AWS で最短パスの例を実行する際に問題があります。S3 を介して giraph jar をダウンロードし (使用しているのと同じ AMI 内でコンパイルされ、そこにアップロードされます)、マスターとスレーブの両方で Zookeper を正しく構成し、次の手順を実行しました。

• nano /tmp/tiny_graph.txt

  [0,0,[1,1,3,3]] [1,0,[0,1,2,2,3,1]] [2,0,[1,2,4,4]] [ 3,0,[0,3,1,1,4,4]] [4,0,[3,4,2,4]]

• hdfs dfs -mkdir /user/hduser

• /home/hadoop/bin/hdfs dfs -copyFromLocal /tmp/tiny_graph.txt /user/tiny_graph.txt

• hdfs dfs -mkdir /user/hduser/output

• /home/hadoop/bin/yarn jar /home/hadoop/share/hadoop/yarn/lib/giraph.jar org.apache.giraph.GiraphRunner org.apache.giraph.examples.SimpleShortestPathsComputation -vif org.apache.giraph.io .formats.JsonLongDoubleFloatDoubleVertexInputFormat -vip /user/hduser/input/tiny_graph.txt -vof org.apache.giraph.io.formats.IdWithValueTextOutputFormat -op /user/hduser/output/shortestpaths -w 2

コンソールにこれが表示され、何が起こっているのかわかりません。

どんな助けでも大歓迎です！