問題タブ [apache-kafka-connect]

を使用してストリーミング データを に書き込みConfluentます。ユーザーマニュアルに従い、コネクタのクイックスタートとセットアップを行いました。トピックを 1 つだけ使用すると、正常に動作します。私のプロパティファイルは次のようになりますHDFS ConnectorHDFS

複数のトピックを追加すると、オフセットが継続的にコミットされ、コミットされたメッセージが書き込まれません。

1と2でtasks.maxを試しました。以下のように連続してCommitting offsetsログに記録されます

サービスを正常に停止すると (Ctrl+C)、tmpファイルが削除されます。私は何を間違っていますか？それを行う適切な方法は何ですか？これに関する提案をお待ちしております。

データ損失が許容されるユース ケースがあります (30 ～ 50% の損失が許容されると考えてください)。コストを削減するために、Kafka のレプリケーション ファクターを 1 に設定して、コンシューマーとプロデューサーが単に使用可能なパーティションを消費および生成するだけでブローカーの障害から回復できるかどうかを知りたいと考えています。

これが可能である場合、どのような構成を設定する必要がありますか?

本質的にこのように動作するブローカー テクノロジは他にもありますが、カフカは既にエコシステムの一部であるため、別のテクノロジの導入は避けたいと考えています。

ソース コネクタが構造化されたレコードをテキスト ファイルから読み取り、JSON 形式 (スキーマを使用) でトピックに格納する Kafka 接続セットアップを実行しています。これらのメッセージを Cassandra テーブルに挿入するシンク コネクタが実行されています。このセットアップは正常に実行されていますが、これらのメッセージを HDFS にも転送するために別のシンク コネクタを導入する必要がありました。そこで、HDFSSinkConnector (CP 3.0) を実装してみました。ただし、このコネクタは、メッセージが AVRO 形式であると想定しているため、「データを Avro に逆シリアル化できませんでした」などのエラーがスローされます。

JSON メッセージをソース トピックから Avro 形式の別のトピックにコピーして変換し、HDFS シンク コネクタが新しいトピックを読み取れるようにする方法はありますか? Kafka Streams を使用して実行できますか?

分散した Connect Config ファイルには --

トピックの私のメッセージは次のとおりです-

誰でもこれについて私を助けることができますか? 事前に感謝...

Kafka は、クラスター モードの 3 サーバーで実行されています。

testdemo以下のコマンドラインでトピック ( ) を作成しました。

以下のプロデューサープロパティでデータを公開していますが、

トピック Get below error でデータを公開しているときに、

Kafka トピックから読み取るアプリケーションがあります。ここで、Kafka コネクタを使用してこれらを HDFS に送信する必要があります: http://docs.confluent.io/2.0.0/connect/connect-hdfs/docs/index.html

同じコマンドがあります。Python スクリプトでこれを行う方法を考えていました。前もって感謝します！

これはあまり具体的な質問ではありません。ただし、実際に kafka - hdfs コネクタをどのように使用するかが説明されている単一のドキュメントは見つかりませんでした。

基本的に、json でエンコードされた文字列を含む kafka トピックがあります。データを avro 形式のデータとして HDFS に送信したいと考えています。

どんな助けでも大歓迎です！