問題タブ [giraph]

http://giraph.apache.org/quick_start.html#qs_section_2から例を実行してい ます Giraph を正常にインストールした後、ファイル /tmp/tiny_graph.txt を作成して実行します

エラーが発生する

私の現在のバージョンは Giraph 1.2.0 Hadoop 2.6.0 です。

これを修正するにはどうすればよいですか?

5 ノード クラスターで Hadoop 2.5.2 を使用して Giraph を実行しています。しかし、SimpleShortestPathsComputation の例を実行しようとすると、次のエラーが発生します。

スレッド「メイン」の例外 java.lang.IllegalStateException: Giraph の推定クラスター ヒープ 2000MB 要求は、現在使用可能なクラスター ヒープの 0MB を超えています。ジョブを中止しています。

これまでのところ、クラスターのヒープが 0MB であると Giraph が判断する理由を特定できませんでした。yarn-env.sh と hadoop-env.sh にそれぞれ YARN_HEAPSIZE と HADOOP_HEAPSIZE を設定し、yarn-site.xml に次のように設定しました。

これで何が起こっているのですか？

最新の Giraph コードと Hadoop 2.5.2 を使用して SimpleShortestPathsComputation の例を実行しようとしています。私のコマンドラインは次のようになります。

そして、ジョブは正常に開始されたようです。しかし、その後、これらの種類のメッセージの出力を開始し、ctrl + c を押すまで、これは (一見) 永遠に続きます。

ここで何が起こっているのか分かりますか？

YARN クラスター (Hadoop 2.5.2) で Giraph を実行しようとしていますが、次のエラーで立ち往生しています。

このトピックに関する以前のメッセージで見つけることができるすべてを試しましたが、役に立ちませんでした。私のコマンドラインは次のようなものです：

これらの jar がクラスター内の各ノードのこれらの場所にあることを確認しました。また、jar ファイルに GiraphApplicationMaster.class が含まれていることも確認しました。それでも、GiraphApplicationMaster が見つからないという不平を言っています。

他に何が問題を引き起こしているのか、または回避策はありますか? Giraph jar を各ノードに配布し、Hadoop クラスパスに物理的に配置することを考えましたが、Maven ビルドはデフォルトでファット jar をビルドするため、おそらく問題が発生する可能性があります。他に提案やアイデアはありますか？

GIRAPH 1.1.0 を HADOOP 2.6.0 に追加しようとしています

GIRAPH を正しくパッケージ化するには、pom.xml を編集する必要があります。コマンドを実行しますmvn -Phadoop_yarn -Dhadoop.version=2.6.0 package

行 (1292) でデフォルトの pom.xml ファイルを編集しました。

しかし、コマンドを実行すると、

私の質問は、hadoop 2.6.0 で動作するように pom.xml をどのように変更する必要があるかということです。

私の選択を確認するための助けが必要です...そして、情報を提供できるかどうかを知るために。私のストレージ データベースは、Cassandra を使用した TitanDb です。非常に大きなグラフがあります。私の目標は、後者のグラフで Mllib を使用することです。

私の最初のアイデア: GraphX で Titan を使用しますが、何も見つかりませんでした。開発中のものも見つかりませんでした... TinkerPop はまだ準備ができていません。というわけでジラフに一目ぼれ。TinkerPop、Titan は TinkerPop の Rexster と通信できます。

私の質問は: Giraph を使用する利点は何ですか? Gremlin も同様の考えで配布されているようです。

説明していただきありがとうございます。Gremlin と Giraph (または GraphX) の違いがよくわからないと思います。

良い１日を。

次の方法で、PageRankBenchmark の例を使用して、単一ノード クラスター Giraph インストールをテストしています。

しかし、マッパーがジョブを完了した後、レデューサーは開始しません (コンソールによると、マップ 100% は 0% を減らします)。これは、このアルゴリズムの適切な動作ですか?

マッパーが実行された場合、リデューサーはマップの出力を入力として取り始め、作業を終了する必要があります (少なくとも、インターネットの PageRank アルゴリズムの他の多くの実装では、常に「リデューサー」が存在します)。しかし、私はそれをグーグルで検索し、他の人が実行したこのアルゴリズムのいくつかの結果で、PageRankBenchmark giraph の例は常に Reduce at 0% で終わります。

それで、PageRankBenchmark でそれが問題ないかどうかはわかりません。誰かが私を助けてくれることを願っています ;)

私は Hadoop 2.4 と Phadoop_yarn プロファイル、および Giraph 1.1.0 を使用しています。

私が読んだ他のいくつかの質問によると、「0％スタックを減らす」問題の主な問題は、おそらくマッパーログにありますが、そこには何も見つかりません（それらも添付しています）。

ここに私のログがあります：

• メイン コンソール ログ。
• 最初のマッパー
• 2 番目のマッパー

乾杯！

Hadoop を使用して Apache Giraph で Stanford Network Analysis Program (SNAP) グラフを実行しようとしています。リンクはhttp://snap.stanford.edu/snap/の下にあります。

現在、単純なエッジ リスト形式の source_id destination_id .. リンクは : http://snap.stanford.edu/data/egonets-Facebook.html

単純なエッジ リスト形式の入力を受け入れるために、Apache Giraph が SimpleShortestPathsCompute またはその他の Java プログラムを実行するためにどの形式を受け入れるかを判断できません。

JSON形式の入力ファイルで、GiraphパッケージのサンプルフォルダーにあるSimpleShortestPathsComputeおよびPageRankComputationアルゴリズムを正常に実行できました。[source_id, source_value, [[destination_id, edge_value], [destination_id, edge_value],..]]

私は Giraph 1.2.0 の動作を理解しようとしている初心者です。Hadoop 1.2.1 で。

各マッパーによって処理された頂点の数を把握する方法はありますか?