問題タブ [debezium]

MariaDB v10.0.32 に接続するために CDC にDebezium-connector-mysql-0.7.5-pluginを使用しています。CDC レコードは、さらに処理するために HDFS に保存されます。次の状況が発生するまで、すべてが完璧でした。

1. 接続を停止しました
2. カフカを完全に停止
3. MariaDB サーバーを停止しました

CDC レコードから、最新の処理されたビン ログ座標が次のようになっていることがわかります。

上記のアクションにより、次の結果に直面しています。

1. MariaDB は再起動時に bin ログをローテーションし、現在のステータスは次のようになります。

   +------------------+----------+--------------+------------------+ | File | Position | Binlog_Do_DB | Binlog_Ignore_DB | +------------------+----------+--------------+------------------+ | mysql-bin.000009 | 326 | | | +------------------+----------+--------------+------------------+

2. 以前に登録した Debezium コネクタが、新しく開始した Kafka で使用できなくなりました

この状況で最初から開始すると、コネクタは次のアクションで最初のスナップショットを取得します。

1. ロックを設定し、すべてのテーブルからデータを読み取ります
2. 完了したら、mysql-bin.000009 である最新の bin ログ ファイルの読み取りを開始します。

私の状況を考慮して、Debezium に mysql-bin.000008 - 位置 2155 から操作を再開し、最初のスナップショットをバイパスするように指示する方法はありますか。

よろしくお願いします。

イベントをkafkaに挿入するクライアントを作成する必要があります.単一のトランザクション内で複数のイベントを複数のトピックに挿入する必要があります.kafka-connectorを介して可能かどうか、または同じためにJavaで新しいプロデューサーを作成する必要があるかどうかを知りたいこれは transaction を開始してコミットします。