問題タブ [apache-kafka]

Kafka 0.8 の比較的少ないドキュメントでは、既存のトピック、パーティション、およびブローカーのレプリカのバランスをとるために予想される動作については言及されていません。

より具体的には、ブローカーの到着時とブローカーのクラッシュ時に予想される動作は何ですか (リーダーかどうか)?

ありがとう。

カフカでトピックをパージする方法はありますか?

大きすぎるメッセージをローカル マシンの kafka メッセージ トピックにプッシュしたところ、エラーが発生しました。

ここで を大きくするのfetch.sizeは理想的ではありません。実際にはそれほど大きなメッセージを受け入れたくないからです。

シンプルな Producer-->Kafka-->Consumer アプリケーションを Java で実装しようとしています。メッセージを正常に生成および消費できますが、コンシューマーを再起動すると問題が発生し、すでに消費されたメッセージの一部が Kafka からコンシューマーによって再び取得されます (すべてのメッセージではなく、最後のいくつかのメッセージ消費されたメッセージ)。

コンシューマを設定autooffset.reset=largestし、autocommit.interval.msプロパティを 1000 ミリ秒に設定しました。

この「既に消費されたメッセージの再配信」は既知の問題ですか、それとも他に不足している設定はありますか?

基本的に、以前に消費されたメッセージが消費者によって取得/消費されないようにする方法はありますか?

次のセットアップのapache-kafka 0.8クラスターがあります-

1) 3 つのブローカーがすべて同じマシンで実行されている
2) 10 個のパーティションと 3 つのレプリカを持つ 1 つのトピック。

1 つのトピックに対して 20 人のプロデューサーがいます。
各パーティションから 10 人の消費者が消費しています。ブローカーのフェールセーフをテストしています。

すべてのブローカーが稼働している場合、消費されるメッセージの数は、生成されるメッセージの数と同じです。

しかし、ブローカーを 1 つずつダウンさせてセットアップをテストすると、生成されるよりも多くのメッセージが消費されることがわかりました。

同じ理由として何が考えられますか?

API を使用して IDE から Kafka でトピックを作成するにはどうすればよいですか。

エラーが発生します：

そして、開発者のセットアップをそのまま踏襲しました。

私はkafka 0.8を試してみたいです（私はそれがすでにリリースされていることを理解しています）。しかし、kafka maven リポジトリはどこにありますか。

また、どのリポジトリ URL を追加する必要がありますか?

私はいくつかのブログを見つけました

しかし、それは機能しません。適切な Maven 依存関係を探しています。それとも、git からチェックアウトして、社内アーティファクトにデプロイする必要がありますか?