21

Google は、Massive Graphs での分散処理のための新しいフレームワークについて説明しています。

http://portal.acm.org/citation.cfm?id=1582716.1582723

Hadoop (Map-Reduce) に似ているかどうか知りたいのですが、このフレームワークのオープン ソース実装はありますか?

私は実際にpythonとマルチプロセッシングモジュールを使用して疑似分散型を作成しているため、他の誰かがそれを実装しようとしたかどうかを知りたいと思っていました. このフレームワークに関する公開情報は非常に少ないためです。(上記のリンクと Google Research のブログ投稿)

4

8 に答える 8

15
于 2011-11-04T10:23:22.270 に答える
4

分散グラフ処理の主なHadoopプロジェクトは、Hamaプロジェクトです。それでもまだインキュベーション中です。

プロジェクトはその作業を2つの領域に分割しました。マトリックスパッケージとグラフパッケージ。

アップデート：

より良いオプションは、 GooglePregelに基づくApacheGiraphプロジェクトです。

于 2010-06-07T04:00:16.920 に答える
3

はい、Golden Orb と呼ばれる新しいプロジェクトです。これは、HBASE と Cassandra の両方で実行される、Java で書かれたオープンソースの Pregel 実装です。

これは承認のために Apache インキュベーターに提出されており、Golden Orb の背後にある会社である Ravel は、今月リリースすると述べています ( http://www.raveldata.com/goldenorb/ )。

http://www.quora.com/Graph-Databases/What-open-source-graph-databases-support-horizo​​ntal-scalingを参照してください。

更新: GraphXは、 GraphLab2の作成者であるJoey Gonzalezによって実装されたSpark上の GraphLab2 です。

Spark の独自のプリミティブにより、GraphX-Pregel は最速の JVM ベースの Pregel 実装になります。Spark は Scala で書かれていますが、Spark には Java と Python の API があります。

見る...

PS Pregel on Spark で最初にカットされたベーグルもあります。できます; ただし、GraphX は前進する道です。

于 2011-04-23T11:14:03.887 に答える
2

Scala で記述され、現在 Akka を使用している Signal/Collect フレームワークもあり ます http://code.google.com/p/signal-collect/

https://github.com/uzh/signal-collect

彼らのウェブサイトから：

Signal/Collect では、頂点とエッジの観点からアルゴリズムが記述されます。グラフが指定されると、エッジが通知され、頂点が集まります。エッジがシグナルを送信すると、ソース頂点の状態に基づいてメッセージが計算されます。このメッセージは、エッジに沿ってエッジのターゲット頂点に送信されます。頂点が収集されると、受信したメッセージを使用してその状態を更新します。これらの操作は、すべてのメッセージが収集され、すべての頂点の状態が収束するまで、グラフ全体で並行して行われます。

多くのアルゴリズムは、Signal/Collect で非常にシンプルかつエレガントに実装されています。プログラミング モデルと機能の詳細については、プロジェクト wiki を参照してください。以下のアルゴリズム例のいくつかを調べる時間をとってください。

于 2012-10-11T20:18:27.450 に答える
2

カーネギー メロン大学の 2 つのプロジェクトは、グラフで Pregel スタイルの計算を提供します。

プログラミング モデルは Pregel とまったく同じではありません。メッセージングに基づくのではなく、グラフ (エッジ、頂点) データを直接変更することに基づいているからです。基本的に、これらのフレームワークで Pregel をエミュレートするのは簡単です。

于 2012-08-24T22:27:36.437 に答える
1

Phoebusというフレームワークを作成します。Erlang で書かれた Pregel の実装です。Pregel モデルを経路探索に適用するための私のブログエントリもチェックしてください。

于 2010-12-04T06:06:33.140 に答える
1

Apache Giraphは現在インキュベーターにあり、LinkedIn、Twitter、Facebook、学界のコミッターが非常に迅速に実稼働規模に持ち込もうとしている非常に活発な開発が行われています。これはかなり直接的に Pregel をモデルにしており、元々は Yahoo! で開発されました。リサーチ。私たちは新しい貢献者を探しており、人々がプロジェクトを開始するのに役立つ入門的な JIRA の問題をいくつか用意しています。ぜひご参加ください。

于 2011-11-04T17:13:45.747 に答える
0

スタンフォード大学の学生は、Pregel のオープン ソース実装を開発しました。 http://infolab.stanford.edu/gps/

于 2013-10-05T18:57:29.620 に答える