apache-spark - Memsql Spark-Kafka 変換の失敗

Question

Memsql の下で実行されている Spark クラスターがあり、さまざまなパイプラインが実行されています。ETL セットアップは以下のとおりです。

1. 抽出:- Kafka クラスターからの Spark 読み取りメッセージ (Memsql Kafka-Zookeeper を使用)
2. 変換:- このステップ用にデプロイされたカスタム jar があります。
3. 読み込み:- 変換ステージからのデータが列ストアに読み込まれます

以下の疑問があります。

ジョブが Transform ステージで失敗した場合、Kafka からポーリングされたメッセージに何が起こるか - Memsql はそのメッセージを再度ロードしますか - または、データが失われます

データが失われた場合、この問題を解決するにはどうすればよいですか? そのために必要な構成変更はありますか?

Answer 1

現状では、MemSQL Ops で少なくとも 1 回はセマンティクスが利用できません。これはロードマップ上にあり、Ops の将来のリリースの 1 つに含まれる予定です。