問題タブ [apache-kafka-streams]

AとBという 2 つの Kafka トピックがあるとします。Aからレコードを取得し、各レコードに変換を適用してから、変換されたレコードをBに公開するシステムを開発しようとしています。この場合、変換には HTTP を介した REST エンドポイントの呼び出しが含まれます。

Kafka には比較的慣れていないので、Kafka Streams プロジェクトがこの種の問題 (consume-transform-publish) を既に解決していることを知り、うれしく思いました。残念ながら、Kafka ストリームの変換が操作をブロックしていることを発見しました。私は本能的に、非ブロッキングの非同期方式でHTTP エンドポイントを呼び出そうとします。

これは、この状況では Kafka Streams が機能しないということですか? これは、ブロッキング方式で REST エンドポイントを呼び出す方法に戻さなければならないということですか? これは Kafka Streams の受け入れ可能なパターンでさえありますか? ストリーム ベースのデータ処理は、私にとってまだ比較的新しいものであり、その同時実行モデルについては完全には理解していません。

I'm trying to install Confluent over HDP for Kafka Streams which think may not be possible could you people suggest me what to do

Kafka Streams では、ストリームを生成/書き込む正規の方法は何ですか? Spark には、任意のデータ ソースから長時間実行されるアダプターとして機能するカスタム レシーバーがあります。Kafka Streams で同等のものは何ですか?

具体的に言うと、あるトピックから別のトピックへの変換方法を尋ねているわけではありません。ドキュメントはそれについて非常に明確です。一連の変換で最初の書き込みを行うワーカーを Kafka に書き込む方法を理解したいです。

できることを期待しています

しかし、既存のドキュメントのどれもこれを示していませんか? 何か不足していますか？

Kafka Streams を使用して、Kafka トピックで並行作業を行っています。

ストリームは次の形式です

15 個のワーカー スレッドを設定KStreamsしましたが、作業がスレッド間で正しくバランスされていないようです (またはまったくバランスが取れていないようです)。私の設定に何か問題があるのでしょうか？作業がワーカー スレッド間で均等に分散されることを期待していましたが、そうではないようです。

jvisualvm からのスナップショット

Apache Kafka 0.10 をコンパクトなトピックと共に分散キャッシュ同期メカニズムとして使用しています。アプリケーションが起動すると、インスタンス固有のconsumer group id. 水平方向のスケーラビリティのためにインスタンスが追加および削除されると、明らかに、二度と使用してはならない多数のグループ ID が取得されます。

KStreamsこれは と の完璧な使用例であると確信していますが、とが 0.10 でアルファ品質として定義されKTablesていることと同様に、知的な理由からこれを自分でやろうとしています。KStreamsKTables

既存のコンシューマー グループを削除できる、使用できる Kafka API 呼び出しはありますか?

Zookeeper はバージョン 0.10 でコンシューマー オフセットを維持していないため、Kafka を使用してコンシューマー グループを削除する方法はありますか?