2

私はkafka 0.8とspring-integration-kafka 1.2.0.RELEASEを使用しています

プライマリとセカンダリという名前の 2 つのトピックがあります。プライマリ トピックから消費する必要があり、いくつかの処理の後、次の一連の処理を後で実行するためにセカンダリ トピックを生成する必要があります。

プライマリ トピックからの消費は正常に機能しますが、セカンダリ トピックへの生成は数分後に失敗し始めます。問題は、設定した 500 ミリ秒後に kafka タイムアウトにリクエストを送信することから始まります。スレッドプールが枯渇して終了。

セカンダリ トピックのイベントを別の kafka クラスターに生成しようとしても、問題なく動作します。

それぞれ 200 のパーティションを持つ両方のトピックで実行されている 4 つのコンシューマーがあります。

私はカフカに少し慣れていません。知識が不足していることをお許しください。私が提供する必要がある不足している情報についてコメントしてください。

4

2 に答える 2

0

可能なすべての構成を試した後、最終的に問題を発見しました。

消費者統合のために以前に追加された以下の依存関係を誤って削除するのを忘れました。

<dependency>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka-clients</artifactId>
<version>0.9.0.0</version>

待機状態でスレッドを追加していた生成中に、競合が発生していました。誰かが追加できる競合についてガイドできる場合は、良い学習になります。

ありがとう。

于 2016-12-29T09:59:20.040 に答える