私はhttps://github.com/zendesk/racecarを使用しています(ボンネットの下でhttps://github.com/appsignal/rdkafka-rubyを使用しており、 https://github.com/edenhill/librdkafka/の Ruby ラッパーです)。 ) Kafka ストリームを消費すると、時々このエラーが発生しますLocal: Unknown partition (unknown_partition)
"/app/vendor/bundle/ruby/2.6.0/gems/rdkafka-0.8.1/lib/rdkafka/consumer.rb:339:in `store_offset'",
"/app/vendor/bundle/ruby/2.6.0/gems/racecar-2.3.0/lib/racecar/consumer_set.rb:51:in `store_offset'"
rd_kafka_offset_storeこのエラーは、 を呼び出したときに発生するようですstore offset of a message to be used in the next commit of this consumer。
上記のエラーのように見えるログをconfig.log_level = "debug"調べると、常に次のようになります。
rdkafka: [thrd:sasl_ssl://a1-abc-d1er1.eu-east-2.aws.confluent.cloud:9092/2]: sasl_ssl://a1-abc-d1er1.eu-east-2.aws.confluent.cloud:9092/2: Disconnected (after 3600185ms in state UP)
(try 1/10): Error for topic subscription #<struct Racecar::Consumer::Subscription topic="my.topic", start_from_beginning=true, max_bytes_per_partition=1048576, additional_config={}>: Local: Broker transport failure (transport)
ここで初めて Kafka を使用しましたが、何が何なのかわかりません。