confluent-kafka Python ライブラリを使用して kafka から読み取ります。次の消費者設定を使用しています
Consumer ={
"bootstrap.servers" : kafka_server,
"group_id" : "testing",
"auto.offset.reset" : "latest"}
私の目標は、常にカフカで最新のメッセージを読むようにすることです。上記は、プログラムが実行されている限り機能します。しかし、何らかの理由でプログラムがクラッシュした場合、トピック内の最後のメッセージではなく、最後に消費されたメッセージから読み取りを開始します。
いくつかのメッセージが失われてもかまいませんが、常に最新のメッセージを読んでいることは絶対に必要です。コンシューマーがオフセットを覚えているように見え、最新のものではなくオフセットから開始します。
enable.auto.commitパラメータを False に設定しようとしましたが、同じ結果が得られます。