問題タブ [hama]

私は現在、意思決定ツリー (PLANET とも呼ばれる) を構築するための Google のフレームワークである Hadoop に実装しています。単一の頂点から開始し、map reduce ジョブを使用して、ツリーが完全に構築されるまでどんどん追加します。ただし、大きな問題の 1 つは、多数の map/reduce ジョブが次々と実行されるため、常に新しいジョブを開始するコストが非常に高くなることです。

Apache Hama がグラフのような反復アルゴリズムに適していることを何度も見てきました。誰かが Hama を使って新しいグラフを作成できますか?それとも、グラフを入力として使用し、それに基づいて計算を行うことができますか? 私のプロジェクトをハマに転送するのは簡単ですか?? ありがとう

並列ブランチとバインドされた BFS を実装しようとしています。Dryad LinQ の上で動作する DryadOpt の使用に興味があります。DryadOptを取得した人はいますか？アカデミック バージョンの DryadLinQ を入手できることはわかっています。これは Azure にも存在しますが、DryadOpt を入手する方法はありますか。Apache hama は並列ブランチとバインドされた BFS を処理できますか

Hadoop Mapreduce と同様に、このリンクで説明されているように、Hama にもカウンターがあります。

hadoop mapreduce では、次のようにgetCounters()関数を使用してカウンターの値を簡単に取得できます。

しかし、hama のBSPJobクラスには、そのような機能はありませんgetCounters()。

私の質問は: hama BSPJob が終了した後、どのようにカウンターから値を取得できますか?

ありがとうございました、

BSP ジョブを実際に実行する前に、入力データ パーティション フェーズで hama が次の例外をスローします。この例外の考えられる根本的な原因を知ることはできますか? 根本的な原因を見つける方法についての提案は大歓迎です。ありがとうございました！

hama BSP ジョブの実行を開始すると、次の問題が発生しました。この例外は、自分のコードを実際に実行する前に、hama が入力データを読み込んで分割しようとしたときに発生します。これは一部の Web サイトで説明されている既知の問題ですが、残念なことに既知の原因はありません (例:ここを参照)。

データ セットの一部のみを実行すると、BSP ジョブは問題なく動作します。ただし、完全なデータセットを実行すると、問題が発生します:(

この問題を解決または回避する方法を教えてください。

Hama グラフ API を使用して Apache Hama 用にプログラミングしています。プログラムをクラスターで実行する場合、スケーラビリティーに問題があります。問題は、クラスター内のマシンの数を増やすと、実行時間が短くなると予想されますが、実行時間が長くなることです。

8500 個の頂点で構成されるグラフを使用してプログラムを実行しています。2 台のマシンのクラスターを使用する場合、ジョブは 479 秒かかり、3 台のマシンを使用する場合、ジョブは 503 秒かかり、10 台のマシンを使用する場合、ジョブは 530 秒かかります。誰かが私が欠けているものを教えてもらえますか?.

hama-site.xmlファイル内の構成の詳細は次のとおりです。

groomserversファイルの内容は次のとおりです。

私の仕事のメインメソッドには、次のコードがあります。