問題タブ [apache-kafka]

GitHub から kafka-dev リポジトリをダウンロードし、公式ページに従ってパフォーマンス テストを実行するつもりでした。

Kafka をビルドし、perf/README.md でコマンドを実行しました。

次に、zookeeper と kafka サーバーを起動し、最後に (perf ディレクトリで):

しかし、テストは失敗しkafka.common.OffsetOutOfRangeException、エラー情報は次のとおりです。

何か案は？

トピックの説明で述べたように、私は でKafka 0.8実行しようとしていScala 2.9.2ます。

0.8( https://cwiki.apache.org/KAFKA/kafka-08-quick-start.html )のクイック スタートを使用して動作するバージョンを取得できましたが、既定ではコンパイルさScala 2.8.0れています。

ステップを改造してみた

に

エラーなしでコンパイルされますが、開始時にメインクラスが見つからないと不平を言います。

どんな助けでも大歓迎です。

Kafka Web サイトのドキュメントを読みましたが、完全な最小限の例 (プロデューサー --> kafka --> コンシューマー) を実装しようとした後、「コンシューマー状態」、オフセットを処理する必要がある方法がよくわかりません。

いくつかの情報

1. HighLevel API (Java) を使用しています
2. 私のコンシューマはメインを持つ単純なクラスで、基本的に「クイックスタート」Kafka ページにあるものと同じです。
3. Zookeeper を使用しています
4. 私は単一のブローカーを使用しています

さて、ドキュメントによると、HighLevel API コンシューマは Zookeeper を使用してその状態を保存するため、オフセットが予想されるため、コンシューマの状態は次の間で維持されます。

• Kafka ブローカーの再起動
• コンシューマの再起動

しかし、残念ながらそうではありません。ブローカーまたはコンシューマーを再起動するたびに、すべてのメッセージが再配信されます。さて、おそらくこれらはばかげた質問ですが、

1. Kafkaの再起動の場合：状態を維持するのは消費者次第だと理解したので、おそらくブローカーが（再）起動してすべての（！）メッセージを再配信し、消費者が何を消費するかを決定します...そうですか？その場合、10.0000.0000 件のメッセージがあるとどうなりますか?

2. JVM コンシューマーの再起動の場合: 状態が Zookeeper で保持されている場合、メッセージが再配信されるのはなぜですか? 新しい JVM が別のコンシューマー「ID」を持つ可能性はありますか? この場合、以前の ID をバインドするにはどうすればよいでしょうか?

イベントの生成に ruby​​ kafka クライアント ライブラリを使用したかったのですが、解決方法がわからない問題に直面しました。どんな助けでも大歓迎です。

kafka-rb (acrosa、mheffner、および bpot フォーク) を使用してみました。問題は、ライブラリ経由で何を送信しても、たとえば

私は得る：

サーバー上。同じサーバーで、提供されたコンソール プロデューサーを介して問題なくテキストを送信できます。

以前にこれを見たことがあれば、助けていただければ幸いです。私は Scala にあまり詳しくないので、何が問題なのかわかりませんが、この例外がスローされる行は、ソケットからの clientId の読み取りに関係しているように思えます。 ruby クライアントから送られてくるようなものはありません。

tcpdumpフォームkafka-rbと提供されたプロデューサーで生成されたメッセージを見ると。ルビーの方が短く見えます。さらに、kafka-0.7 と 0.8 のどちらを使用しても問題ありません。まったく同じ動作が得られます。

Amazon EC2 インスタンスに Kafka をセットアップしました。

(1) インスタンスへの SSH (2) Zookeper の起動 (3) Kafka の起動 (4) プロデューサー プログラムとコンシューマー プログラムの実行。

ここまではすべてうまくいっています。ただし、Kafka を開始した SSH ウィンドウを閉じると、Kafka サービスが停止します。Producer プログラムと Consumer プログラムを実行できなくなりました。

SSH ウィンドウを閉じた後でも、すべてのリクエストに対して Kafka サーバーを永続的に稼働させるにはどうすればよいですか。

ありがとうございました。

Zookeeper を使用してカフカからデータを取得しています。ここでは、常に最後のオフセット ポイントからデータを取得します。古いデータを取得するためにオフセットの時間を指定する方法はありますか?

1 つのオプション autooffset.reset があります。最小または最大を受け入れます。最小と最大の意味を誰か教えてください。autooffset.reset は、最新のオフセット ポイントではなく古いオフセット ポイントからデータを取得するのに役立ちますか?

ログ集計システムを構築したいのですが、Taobao が開発したこれらのツールを見つけました。どちらも、さらに処理および分析するためにログを収集するために使用できます。それらの違いは何ですか？

KafkaSpout を使用している Storm トポロジのバランスを取り直そうとしています。私のコードは：

ただし、再調整中に、次のエラー トレースが表示されます。

何が問題なのか教えてください。リバランス時に適切にシャットダウンしてから再起動するように、kafkaSpout でさらに何かを定義する必要がありますか?

私はカフカが初めてです。1 つのトピックとそのトピックに割り当てられた 1 つのコンシューマー グループを使用して、単純なキュー システムを実装しようとしています。ただし、消費者グループを作成する方法がわかりませんでした。

ps kafka-rb gem で Ruby を使用しています。

ありがとう！エリック

Kafka 0.8 の比較的少ないドキュメントでは、既存のトピック、パーティション、およびブローカーのレプリカのバランスをとるために予想される動作については言及されていません。

より具体的には、ブローカーの到着時とブローカーのクラッシュ時に予想される動作は何ですか (リーダーかどうか)?

ありがとう。