問題タブ [giraph]

スーパーステップを 20 に設定すると、うまく機能します。しかし、スーパーステップを 200 に設定すると、機能しません。

最終結果は次のとおりです。

私のテストコードは次のとおりです。頂点計算

マスター計算

カウンターが小さすぎる（120）ようですが、1000に設定しました。この問題を解決するにはどうすればよいですか？

エラーログは次のとおりです。

Eclipse IDE を使用して新しい Giraph プログラムを作成したいと考えています。Giraph を Eclipse に組み込むにはどうすればよいですか? 私はこのトピックに不慣れです。Giraph プログラムの実行にはシェル環境を使用し、プログラムの作成にはテキスト編集を使用しました。しかし、JAVA IDE を使用するのが最善の方法のようです。どうやってやるの？ありがとう。

私は Giraph と Hadoop の初心者です。マルチノード クラスタ (1 つのマスターと 2 つのスレーブ) で最短パス アルゴリズムを実行しようとしています。次のコマンドを使用してアルゴリズムを実行しました。

ワーカーを 1 つしか使用しない場合、ジョブは成功しますが、ワーカーの数を増やすと、ジョブは終了しません。

何か案は？？どうもありがとう

指定された ID で頂点を取得する方法はありますか? クラスのcompute()メソッド中に、指定された ID を持つ頂点への参照を取得したい。BasicComputationJava doc で何も見つかりません。

Java JDK 1.8 と hadoop 2.4.0 を使用して、 http: //lab.hypotheses.org/1207のリンクに従って単一ノードに Giraph をインストールしようとしています 。
mvn -Phadoop_yarn -Dhadoop.version=2.4.0 -DskipTests package を実行すると、次のエラーが表示されます。

このようなトピックがいくつかありますが、答えが得られませんでした。誰か助けてもらえますか?

私はGiraphで実験しています。Giraph でアルゴリズムを実行するには、グラフ データを Vertex Input Format にする必要があります。オンラインで利用可能なほとんどすべてのビッグ データは、エッジ リスト形式です。この Edge List 形式を VertexInputFormat に変換するコードを Java で作成しました。これは、ほぼ 800k のエッジを持つ小さなグラフで機能します。ただし、必要なグラフでは、プログラムを実行するたびに、ヒープ領域を超えるエラーが発生します。ヒープサイズを最大まで増やしてみました。それでもエラーは続きました。

私が実行しているファイルのサイズは約 15GB です。

アルゴリズム (PageRank、SingleSourceShortestPath など) が Giraph でどのように記述されているかについてはよくわかりませんが、それらはすべて VertexInputFormat のグラフを入力として受け取ることは知っています。

私が探しているヘルプは次のとおりです。

1. EdgeInputFormat を VertexInputFormat (または) に変換するための最適化されたコード
2. この変換に役立つオンライン ツール (または)
3. EdgeInputFormat を入力として受け取る PageRank アルゴリズム。

私は Apache Giraph を実験しています。HDFS にある csv ファイルの簡単なグラフを作成する必要があります。これは、2 つの列の間の関係を示しています。(被害者は店舗名に関連しています) 私のデータ サイズは 1Gb を超える csv 形式です。最初に使用しようとしましたローカルファイルでJavaを使用するneo4j.しかし、小さなデータしかロードできず、HDFSから直接データをインポートすることはできません。データが増えるかもしれないので、Apache Giraph を使用することを考えました。

しかし、どうやって同じことを達成するのですか？

私のデータはcsv形式です.so私のcsvをグラフ形式にして、グラフでの計算のためにGiraphへの入力として提供するツールはありますか.

16 コア、64 GB RAM、2.5 TB ディスクのサーバーを使用しており、Giraph プログラムを実行したいと考えています。hadoop-2.7.2 をインストールしましたが、多くのユーザーがサーバーを使用しているため、サーバー リソースの一部のみを使用するように Hadoop を構成する方法がわかりません。 要件: Hadoop は、最大 12 コア (=> NameNode、DataNode、JobTracker、TaskTracker の場合は 4 コア、タスクの場合は最大 8 コア) と最大 28 GB の RAM (つまり、4*3GB + 8*2GB) を使用する必要があります。

私の Yarn サイトのリソース構成:

Giraph プログラムを実行しようとすると、http://localhost:8088 Yarn Application の状態は次のようになります: ACCEPTED: AM コンテナーが割り当てられ、起動され、RM に登録されるのを待っています。

上記の要件を適応させるために、私の Yarn-site.xml にいくつかの構成が欠けていると思います。

Hadoop 2.7.3 および Giraph 1.3.0 を使用して、Ubuntu サーバーで Apache Giraph ジョブを実行しようとしています。Giraph の下位バージョン (1.2/1.1) を使用して、Hadoop 2.6 でも同じジョブを実行しようとしました。しかし、両方の状況で次のエラーが表示されます。

誰かが同様の状況を経験しましたか?

Hadoop 1.2.1 クラスターに giraph ジョブを送信しています。ジョブは次のスタック トレースで失敗しています。

私は giraph 1.2.0 を使用しています。Mvnrepositoryによると、giraph は guava 18に依存しています。guava 16 から削除され、 guava 15で廃止されたため、そのメソッドが存在しないことは理にかなっています。giraph が guava 15 のメソッドを使用しようとしていることは意味がありません。例外をスローするメソッドがgiraph 1.2.0 にZooKeeperManager :generateZooKeeperConfigFile 存在しないことも意味がありません。

Hadoop クラスターにデプロイされている jar の依存関係セクションは次のとおりです。

実行mvn dependency:treeすると、実際にはグアバ 18 が必要であることが示されます。グアバに関するその他の参照はありません。

さらに、hadoop クラスターにデプロイされた他の jar はありません。Hadoop 1.2.1はグアバに依存しません。それで、何が起こっているのですか？この問題を解決するにはどうすればよいですか?