問題タブ [confluent-platform]

このリンクのステップ 7 (Kafka Connect を使用してデータをインポート/エクスポートする) に従っていました。

http://kafka.apache.org/documentation.html#quickstart

「test.txt」ファイルを削除するまではうまくいきました。主な理由は、log4j ファイルがそのように機能するためです。一定の時間が経過すると、ファイルはローテーションされます。つまり、名前が変更され、同じ名前の新しいファイルが書き込まれ始めます。

しかし、「test.txt」を削除した後、コネクタが機能しなくなりました。コネクタ、ブローカー、zookeeper などを再起動しましたが、'test.txt' の新しい行が 'connect-test' トピックに移動せず、したがって 'test.sink.txt' ファイルに移動しません。

どうすればこれを修正できますか?

サービスからメッセージを送信するためにkafkaを使用している展開があります。しかし、すべての地域にマスター Kafka が必要です。そのため、メッセージが 1 つのデータ センターにプッシュされると、他のデータ センターで同期する必要があります。そして、他のデータセンターで再び行われると、同期する必要があります。Mirror Maker は一方から他方への同期を提供できますが、どうすれば双方向の同期を実現できますか?

HDFS Sink Connector で Kafka-Connect を使用してデータをストリーミングしようとしています。スタンドアロン モードと分散モードの両方が正常に動作していますが、HDFS への書き込みは 1 回のみ (フラッシュ サイズに基づく) であり、後でストリーミングすることはありません。何か足りない場合は助けてください。

コンフルエント 2.0.0 & カフカ 0.9.0

私はWindows環境と、独自のカフカと飼育係のセットを実行しています。カスタム オブジェクトを使用するために、Avro を使い始めました。しかし、レジストリを開始する必要がありました。Confluent プラットフォームをダウンロードし、これを実行しました。

次に、インストールページに次のように表示されます。

「Confluent は現在、Windows をサポートしていません。Windows ユーザーは、zip および tar アーカイブをダウンロードして使用できますが、bin/ ディレクトリのラッパー スクリプトを使用するのではなく、jar ファイルを直接実行する必要があります。」

Windows 環境でコンフルエント スキーマ レジストリを開始するにはどうすればよいのでしょうか。

スクリプトの内容を見て、解読するのは難しいです。

ありがとう

debian パッケージと confluent プラットフォームの tarball ディストリビューションの両方をダウンロードして試しました。Linux サービスとして実行できるスクリプトが見つかりませんでした。このディストリビューションに含まれるすべてのツールを Linux サービスとして実行するにはどうすればよいですか?

ありがとう

Kafka Connect の HDFS コネクタを構成して、いくつかの個別のトピックを 1 つのファイルに書き込み/結合することは可能ですか?

トピックには同じ avro スキーマを持つメッセージが含まれ、KafkaConnect がこれらの Kafka トピックと HDFS の間の仲介者として機能することを望みます。最悪の場合、HDFS に書き込んだ後にトピックのコンテンツを結合することもできますが、HDFS コネクタを使用すると、よりクリーンで迅速な方法が可能になると思います。