Spark 構造化ストリーミングを使用して、kafka トピックからデータを消費し、そのデータを別の kafka シンクに書き込みます。
オフセットを2回保存したい-トピックから読み取ってオフセットをかき混ぜるときに1回。第二に、データを出力シンクに書き込み、オフセットを書き込むとき。これは、チェックポイント ディレクトリの場所を指定することで可能になります。
トピックのサブスクライブ中に消費されたオフセットを書き込むことは可能ですか。
Spark 構造化ストリーミングを使用して、kafka トピックからデータを消費し、そのデータを別の kafka シンクに書き込みます。
オフセットを2回保存したい-トピックから読み取ってオフセットをかき混ぜるときに1回。第二に、データを出力シンクに書き込み、オフセットを書き込むとき。これは、チェックポイント ディレクトリの場所を指定することで可能になります。
トピックのサブスクライブ中に消費されたオフセットを書き込むことは可能ですか。