giraph - Apache Giraph Graph パ​​ーティショニング.... パーティション p1 の一部をワーカー w1 に、一部をワーカー w2 に配置できますか?

Question

私はApache Giraphの初心者です。私の質問は、Giraph グラフのパーティショニングに関連しています。私の知る限り、Giraph は大きなグラフをランダムに分割します...おそらく #partitions>#workers で負荷分散を行います。しかし、私の質問は、#partitions/worker は常に整数ですか? 別の言い方をすれば、パーティション (p1 など) の一部がワーカー w1 とワーカー w2 に存在することはあり得るでしょうか? または、p1 は全体として w1 または w2 のいずれかにある必要がありますか?

Answer 1

私の知る限り、いいえ、実際には私は言ったでしょう、#partitions == #workers

パーティショニングの理由は、1 つのサーバーでグラフの一部を処理するためです。スーパーステップが実行された後、他のパーティションに送信されたメッセージは、クラスター内のサーバー間で交換されます。

パーティショニングという用語で別のことを理解しているかもしれませんが、私にとってパーティショニングとは次のことを意味します。

Giraph は複数のサーバーを持つクラスター上にあり、すべてのサーバーを平均化するために、グラフを分割する必要があります。そして、 n 個のサーバーの 1 つにノードをランダムに割り当てるだけではありません。これからn 個のパーティションが得られ、各パーティション内のノードは、割り当てられた 1 つのサーバーによって実行されます。