apache-kafka - Kafka 0.8 のブローカーでのパーティションの再調整

Question

Kafka 0.8 の比較的少ないドキュメントでは、既存のトピック、パーティション、およびブローカーのレプリカのバランスをとるために予想される動作については言及されていません。

より具体的には、ブローカーの到着時とブローカーのクラッシュ時に予想される動作は何ですか (リーダーかどうか)?

ありがとう。

Answer 1

私はこれらの 2 つのケースを少し前にテストしましたが、負荷が高い状態ではありませんでした。2 つのブローカーのクラスター上で、レプリケーション ファクター 2、2 つのパーティションで、トピックに 10,000 メッセージ (ほんの少しの文字列) を同期的に送信する 1 つのプロデューサーがあります。消費者は2人。各コンポーネントは個別のマシンにデプロイされます。私が観察したことは次のとおりです。

• 通常の操作では、ブローカー 1 はパーティション 1 のリーダーであり、パーティション 2 のレプリカです。ブローカー 2 はパーティション 2 のリーダーであり、パーティション 1 のレプリカです。ブローカー 3 をクラスターに導入しても、パーティションのリバランスは自動的にトリガーされません。

• ブローカーの復活時 (再起動よりもクラッシュ) : リバランスはプロデューサーとコンシューマーに対して透過的です。再起動するブローカーは、最初にログを複製してから、それ自体を利用できるようにします。

• ブローカーがクラッシュした場合 (リーダーかどうかに関係なく) :いずれかのブローカーでkill -9によってシミュレートされます。プロデューサーとコンシューマーは、強制終了されたブローカーの ZK の一時ノードが期限切れになるまで凍結されます。その後、通常通り運用を再開します。