問題タブ [confluent-platform]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
apache-kafka - カフカ接続は分散モードでアクティブ/アクティブ モードをサポートしますか?
分散モードで kafka connect をテストしたところ、アクティブ アクティブ モードではなくスタンバイ モードで動作することがわかりました。
2 つのメンバー クラスターがある場合、一度に 1 つのみが HDFS シンク コネクタに対して機能し、もう 1 つはスタンバイ状態で待機します。最初の 1 つが停止するか中断された場合、2 番目の待機中の 1 つが操作を取得します。
1 つのクラスター グループ ID の下で HDFS の異なるシンク名を介して両方が連携する方法をサポートしていますか? 1 つがダウンしても、2 つ目のクラスターが実行されて HDFS にデータをプッシュしているため、フラッシュ操作はまったく中断されませんか?
apache-kafka - Kafka オフセット管理
Kafka 0.10 を使用しています...enable.auto.commit が TRUE の場合に、kafka でオフセットがどのように管理されるかについて、オンライン (およびドキュメント) で矛盾する情報がいくつか見られます。メッセージを取得する同じ poll() メソッドは、構成された間隔でコミットも処理しますか?
シングル スレッド アプリケーションで poll からメッセージを取得する場合、同じスレッドでメッセージを処理して (処理エラーを含めて) 完了します。つまり、処理が完了するまで poll() は再度呼び出されません。メッセージを失うことで、正しいですか？これは、poll() が後続の呼び出しでコミットを試みる場合にのみ機能します (もちろん、auto.commit.interval.ms が経過した場合)。メッセージを受信するとすぐに（アプリがメッセージを処理する前に）コミットが行われた場合、これは機能しません....
自動コミット ポリシーを使用してもメッセージが失われないことを確認したいので、これは重要です。重複したメッセージは許容できますが、データの損失は許容できません。
明確にしてくれてありがとう！