問題タブ [oracle-cdc]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票する
1 に答える
87 参照

apache-spark - スパークによって直接消費されるのではなく、カフカを使用してcdcデータを保存するのはなぜですか?

cassandra、mysql、Oracle ...などの複数のデータ ソースから CDC データを使用したいと考えています。cdcデータをkafkaにストリーミングし、データをトピックに保存するためのドキュメントをいくつか調べました。最初にデータを kafka トピックにプッシュし、次に kafka トピックに接続してメッセージをさらに消費するスパーク プログラムを作成する代わりに、ソースから直接データを消費するスパーク プログラムを作成できないと考えていました。ここに私のいくつかの質問があります、私は答えを見つけようとしています:

  1. spark から変更されたレコードを直接消費する代わりに、その間に kafka を使用することの重要性は何ですか?
  2. 途中でカフカを使用しても、システムにレイテンシが追加されませんか?