問題タブ [kafkacat]

kafkacat を使用して Kafka からのデータを Postgres テーブルに入力しようとすると、bash コマンドで構文エラーが発生します。

構文は単純なので、エラーが表示される理由がわかりません。

奇妙なことに、このエラーは、入力する列のリストを指定した場合にのみ表示されます。テーブルのすべての列に同じコマンドを使用すると、すべてがうまくスムーズに進み、データがテーブルに表示されます。

しかし、特定の列のみに Kafka のデータを入力し、残りの列にはデフォルト値を入力できるようにしたいと考えています。したがって、コマンドの最初のバージョンが機能する必要があります。

なぜエラーが表示されるのか、誰にも分かりますか?

Postgres バージョン: 12 kafkacat バージョン: 1.6.0 システム: CentOS 7

トピック「topic-one」があり、「log.cleanup.policy = compact」が構成されているかどうかを知りたいです。

kafkacat を使用して、特定のトピックのプロパティや構成を抽出することは可能ですか?

kafkacat を使用してトピック内のメッセージを検索し、それをトピックに公開しようとしています。メッセージ値はバイト単位にする必要があるため、protobuf を使用します (キーは、文字列やバイトなど異なる場合があります)。ただし、適切に逆シリアル化できるメッセージを公開できません。

どうすればこれをkafkacatで行うことができますか? また、これを行うために他の推奨ツールを使用することにもオープンです。

試行例:

test2.txt は以下を示します:

しかし、同じ kafkacat consumer コマンドを使用して結果を取得すると、最後の行が表示されます。

問題は、消費する出力行 (ペイロードの一部である可能性がありますか?) と、プロデューサーが各行を新しいメッセージとして扱っていることだと思います。