3

Giraph アプリケーションにカスタム パーティショニング アルゴリズムを使用することが言及されています。しかし、それはどこにも明確に与えられていません。Castagna がここで指摘したように、pregel のグラフを分割して処理速度を最大化する方法は? ほとんどの場合、HashPartitioner 自体は非常に優れているため、このようなパーティショニングは必要ない場合があります。

実行時間を最小限に抑えるためにグラフを「インテリジェントに」分割する問題は興味深いものですが、単純ではなく、データとアルゴリズムに依存します。また、実際にはその必要はなく、ランダムなパーティション分割で十分であることに気付くかもしれません。

たとえば、Pregel のようなアプローチに興味がある場合は、Apache Giraph を見て、さまざまなパーティショニング手法を試すことができます。

ただし、学習の目的で、実際の例を見るのは良いことですが、私が見た限りでは何も見つかりませんでした。たとえば、通常の k-way パーティショニング アルゴリズム (Kerninghan-Lin) が Giraph で実行されているか、少なくとも実装すべき方向です。

すべてのGoogleの結果は、関数の定義とそれらを使用するためのさまざまなオプションのみがあるApache giraphページからのものでした。

4

0 に答える 0