6

Kafka Streams では、ストリームを生成/書き込む正規の方法は何ですか? Spark には、任意のデータ ソースから長時間実行されるアダプターとして機能するカスタム レシーバーがあります。Kafka Streams で同等のものは何ですか?

具体的に言うと、あるトピックから別のトピックへの変換方法を尋ねているわけではありません。ドキュメントはそれについて非常に明確です。一連の変換で最初の書き込みを行うワーカーを Kafka に書き込む方法を理解したいです。

できることを期待しています

builder1.<something>(<some intake worker like a spark reciver)
       .to(topic1)
       .start()

builder2.from(topic1)
        .transform(<some transformation function>)
        .to(topic2)
        .start()

しかし、既存のドキュメントのどれもこれを示していませんか? 何か不足していますか？

4

3 に答える 3

5

一連の変換で最初の書き込みを行うワーカーを kafka に書き込む方法を理解したいです。

最初の書き込み (= 入力データ) は Kafka Streams 経由で行うべきではありません。Kafka Streams は、入力データが既に Kafka にあると想定しています。

したがって、この予想されるワークフローは適用されません。

builder1.<something>(<some intake worker like a spark reciver)
   .to(topic1)
   .start()

むしろ、Kafka Connect のようなものを使用して Kafka にデータを取得するか (データベースから Kafka トピックに)、「通常の」Kafka プロデューサー クライアント (Java、C/C++、Python など) を使用して、 Kafka にデータを入力します。

入力データをブートストラップするために Kafka Streams で利用できる「フック」はまだありません。Kafka Connect と Kafka Streams のより良い統合を検討しているため、この状況は近い将来改善される可能性があります。

于 2016-07-01T15:03:04.740 に答える