問題タブ [giraph]

私は過去 10 日間から giraph に取り組んできました。与えられた例を Giraph にインストールして実行する方法についてのアイデアを得ました。しかし、私は自分のカスタム コードを設計したいので、あなたの助けが必要です。

仕事のグラフ処理ツールとしてGiraphを使いたいです。私は Mahout に精通しており、Hadoop を使用せずに Recommender System などの Mahout の一部を使用できることを知っています。ただ、これがGiraphでも同じなのか、Hadoopを使わなくても使えるのかはわかりません。

マルチノードの giraph クラスターが PC で正常に動作しています。Giraph から SimpleShortestPathExample を実行したところ、問題なく実行されました。

このアルゴリズムは、次のファイル (tiny_graph.txt) で実行されました。

このファイルの入力形式は次のとおりです。

今、私はこの同じアルゴリズムをこの同じクラスターで実行しようとしていますが、元のファイルとは異なる入力ファイルを使用しています。私自身のファイルは次のようなものです：

オリジナルと非常に似ていますが、ID は String で、頂点とエッジの値は Long です。私の質問は、これにどの TextInputFormat を使用する必要があるかということorg.apache.giraph.io.formats.JsonLongDoubleFloatDoubleVertexInputFormatですorg.apache.giraph.io.formats.TextDoubleDoubleAdjacencyListVertexInputFormat。

この問題が解決されたので、元の最短パスの例のアルゴリズムを適応させてファイルで機能させることができましたが、これに対する解決策が得られるまで、その点に到達することはできません。

この形式が適切な決定ではない場合は、おそらくそれを適応させることができますが、どれが私の最良の選択肢であるかはわかりません.giraphのテキスト入力および出力形式からの私の知識は本当に悪いです.

私は糸で BFS アルゴリズムを実行しており、頂点のデータ (Vertex Data) のカスタム値を作成しています。しかし、これを行った後、エッジを読み取るプロセスで問題が発生しました。

次のコード行までエラーを追跡します。

• ByteArrayEdges では、変数serializedEdgesBytesUsedが値1987015248を取得し、新しい配列が割り当てられると OutOfMemory エラーが発生します (私が知る限り、Java の制限は 64K です)。

  }

なぜこれが起こり始めたのかはわかりませんが、カスタム頂点データを使用する前は、この問題は存在しませんでした。

完全なログはここにあります（疑似分散クラスターでははるかに困難だったため、Eclipseから直接テストしています）：

これを実行するために使用される端末からの行は次のとおりです。

多分私は使用する必要がありEdgeInputFormatますか？

読んでくれてありがとう。

単一ノードの疑似ディストリビューションで SimpleShortestPathsComputation を既に実行しており、現在、Ubuntu 14.04 の 2 ノード クラスターで実行しようとしています。しかし、次のエラーが発生するたびに: (以下の完全なログ)

これは、NettyClient がポート 30001 で他のノードに接続できず、java.net.ConnectException: Connection refused: rofti/192.168.0.103:30001. ここで説明されているように、両方のノードでポートを開こうとしましたが 、すべてのホスト名が小文字のみで記述されていることを確認しました。しかし、それは何も変わりませんでした。皆さんが提供できる助けに本当に感謝しています。

ここにいくつかのファイルとログがあります:

iptables -L の出力:

ファイル: マスター (rofti-ex58-ud3r) 上の /etc/hosts:

Zookeeper 構成ファイル: conf/zoo.cfg

Syslog ログ 1:

Syslog ログ 2: