問題タブ [apache-kafka-connect]

JSON で Kafka との間で生産/消費します。以下のプロパティを使用して、JSON で HDFS に保存します。

プロデューサー :

消費者 ：

問題-1:

例外を取得:

問題-2:

上記の 2 つのプロパティを有効にしても問題は発生しませんが、hdfs にデータが書き込まれません。

どんな提案でも大歓迎です。

ありがとう

poll()SourceTask 実装のメソッドに次のコードを含む Kafka コネクタがあります。

コンシューマーをデータ トピックにアタッチすると、コネクタから次のメッセージが送信されます。

次のコマンドを使用して、メッセージをトピックに直接公開すると:

次に、同じコンシューマーをアタッチすると、次のメッセージが表示されます。

{"schema":...これは、受け取ったメッセージではなく、コネクタの実装からの出力として期待していたものです。

poll()メッセージの実際のキーと値にスキーマ メタ データが表示されずにメッセージが送信されるように、 の実装を変更するにはどうすればよいですか?

コミュニティ、私のメッセージの約 3%HDFSが. JAVA1000 万のメッセージを生成する単純なプロデューサーを作成しました。

そして、スタンドアロン モードで を使用してConfluent HDFS Connectorにデータを書き込みますHDFS。構成は次のとおりです。

コネクタはデータを HDFS に書き込みますが、20000 ミリ秒待機した後 (原因によりrotate.interval.ms)、一部のメッセージが受信されません。

この動作の理由は何ですか？私の間違いはどこですか？Confluent 3.0.1/Kafka 10.0.0.1を使用しています。

kafka トピックからのメッセージは hdfs に書き込まれません。

理由 ：

誰か説明してくれませんか。

ローカルの「起動」Dockerコンテナ（Kafkaノードコンテナとは別）で分散モードでKafkaコネクタを起動しています。コネクタは期待どおりに機能しますが、起動コンテナーを強制終了すると、コネクタが機能しなくなります。別のコンテナーの Kafka ノードのワーカーで登録され、実行されていると信じていたので、引き続き動作することを期待していました。私のセットアップの詳細は次のとおりです。

現在、Docker コンテナーを介してすべてをローカルで実行しています。私は持っている：

1. Zookeeper ノード (3.4.9)
2. Kafka ノード (Apache、0.10.1.0)
3. 「起動」ノード。

起動ノードは適切な Kafka バージョンをダウンロードし、そのコンテンツを解凍します。次に、コネクタ ソースをビルドし、必要な JAR を含むようにクラスパスを設定し、コネクタを次のように実行します。

分散プロパティ ファイルは、グループ ID、さまざまなトピック名、スキーマとコンバーター、およびブートストラップ サーバー (上記の Kafka ノード (2) を指す) を設定します。

このコマンドは正常に実行され、restful コネクタの http サービスが正常に開始されたようです。次に、POST 要求をhttp://example:8083/connectorsに発行して、コネクタ タスクの構成を提供します。コマンドはエラーなしで完了し、コネクターは正常に開始されます。Kafka ノード (2) のトピックから使用でき、コネクタが動作してデータを送信していることを示す出力が表示されます。

起動ノード (3) を強制終了すると、1 つのクラスターではありますが、コネクターを Kafka クラスターに登録したため、コネクターが引き続き実行されることが予想されます。コネクタは実行を継続せず、起動ノードで停止しているように見えます。コネクタは現在、クラスター内のワーカーによって管理されているはずではありませんか? コネクタの起動方法を変更する必要がありますか、それとも何か誤解していますか?

多くの場合、デバッグ目的で、Kafka トピックのメッセージを分析/検査したいと考えています。

Kafka トピックから MySql DB にデータをエクスポートするコネクタを作成できると思います。

深く掘り下げる前に、それが実行可能なアプローチであるかどうかを確認したいですか? もしそうなら、例を教えてください。

私はカフカが初めてで、ローカルにデフォルトの設定でカフカ10をインストールしました。今、私は問題に直面しています。コンソール プロデューサーからメッセージを生成しています。メッセージが約 4096 バイトの場合。その後、コンソール コンシューマーから正常に消費されます。しかし、メッセージのサイズを 4096 バイトから増やすと、それを消費すると、メッセージは約 4096 バイトに切り捨てられます。問題がわかりません。

何が起こっている ？a) メッセージは不完全に公開されていますか? b) メッセージは不完全に消費されていますか?

注：デフォルト設定を変更しておらず、コンソールのプロデューサーとコンシューマーを使用しています。

誰か助けてください