logstash を使用して Kafka から Elasticsearch にデータを転送すると、次のエラーが発生します。
WARN org.apache.kafka.clients.consumer.internals.ConsumerCoordinator - Auto offset commit failed for group kafka-es-sink: Commit cannot be completed since the group has already rebalanced and assigned the partitions to another member. This means that the time between subsequent calls to poll() was longer than the configured session.timeout.ms, which typically implies that the poll loop is spending too much time message processing. You can address this either by increasing the session timeout or by reducing the maximum size of batches returned in poll() with max.poll.records.
セッションのタイムアウト (30000) と最大ポーリング レコード (250) を調整しようとしました。
このトピックは、1 秒あたり 1000 個のイベントを avro 形式で生成します。10 のパーティション (2 つのサーバー) と、それぞれ 5 つのコンシューマー スレッドを持つ 2 つの logstash インスタンスがあります。
1 秒あたり 100 ～ 300 件のイベントがある他のトピックについては問題ありません。
同じトピックで Kafka と Elasticsearch の間に 2 つ目のコネクタもあり、正常に動作するため、構成の問題であると思います (confluent の kafka-connect-elasticsearch)
主な目的は、kafka connect と logstash をコネクタとして比較することです。多分誰かが一般的な経験も持っていますか？