問題タブ [apache-kafka-connect]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
hdfs - HDP 2.4 で Kafka-Connect-HDFS をセットアップして使用する方法
hortonworks 2.4 で kafka-connect-hdfs を使用したいと考えています。HDP環境でセットアップするために必要な手順を教えてください。
apache-kafka - プロデューサーが DNS 経由でブローカーに接続できない
私は物理サーバーを持っており、advertized.host.name をサーバー ip に設定し、ルーターでポート転送を行います。しかし、プロデューサーは dns を使用してブローカーに接続できません。
ERROR:pykafka.connection:Failed to connect to 192.168.1.3:9092 WARNING:pykafka.producer:Broker 192.168.1.3:9092 disconnected. 再試行しています。
apache-kafka - Kafka Connect FileStreamSourceTask から多くのファイルを読み取る
Kafka で 1 つのログ ファイルを読み取り、トピックを作成しています。これは成功です。このファイルを読み取るために、ファイルconfig/connect-file-source.propertiesを編集して、Kafka クイックスタート ( http://kafka.apache.org/quickstart#quickstart_kafkaconnect ) のステップ 7 に従っています。
しかし、今、私はたくさんのファイルを読みたいと思っています。ファイルconfig/connect-file-source.propertiesで、次のようなパターンで 変数ファイルを編集しました: file=/etc/logs/archive .log* ディレクトリログのすべてのファイルを読みたいので、パターンarchive*.log。しかし、この行は機能しません。
ファイルconfig/connect-file-source.propertiesを使用して、パターンを使用してファイルの読み取りを実装するための最良の形式は何ですか?
apache-kafka - ConsumerConnector 宣言が 2 つあるのはなぜですか?
ConsumerConnector には 2 つの定義があります: a) kafka.javaapi.consumer.ConsumerConnector b) kafka.consumer.ConsumerConnector </p>
違いを説明してくれる人はいますか？ありがとう！
また、ConsumerConnector を使用して KafkaStream を取得する場合、コンシューマ オフセットはどこに保持されますか? 私が ConsumerConnector を作成するとき、それでも Zookeeper の URL を提供するように求められるためです。
apache-kafka - Kafka 接続スロットリング
REST API を公開するだけの一連の怠惰なコンシューマーに代わってメッセージをコンシュームする必要があります。したがって、Kafka トピックからメッセージをフェッチし、公開された API で HTTP POST 操作を行うシンク コネクタを用意する予定です。
考慮すべき重要な要素の 1 つはスロットリングです。API の層 SLA を満たすためにシンク タスクを調整するために、どのメカニズムを提案しますか。Kafka にはクライアント クォータ機能があることは理解していますが、クライアント クォータを動的に調整できる API リクエスト/分または秒を追跡する最適なメカニズムは何ですか?
git - パブリッシャーがApache Kafkaのトピックにメッセージを発行する方法は?
私はApache Kafkaの初心者です。Apache Kafka のトピックとパーティションの構造と、プロデューサーがデータをパーティションにプッシュする方法がわかりません。
シナリオを考えてみましょう。2 つのプロデューサー PR1、PR2 と 3 つのブローカー B1、B2、B3 があります。そして、P1、P2、P3 として 3 つのパーティションを持つ 1 つのトピック T1 が 3 つのブローカーに分割されます。ここで、最初のプロデューサー PR1 が Zookeeper と調整し、Broker を見つけてメッセージをプッシュします (ログ サーバーがログ データを 1 秒あたり 1 レコードでプッシュするとします)。T1 - P1 にオフセットを設定し、オフセットを 0 に設定します。押されます。パーティション P2 または P3 にプッシュしますか? または、最初のレコード自体が 3 つのパーティションすべてに並行してプッシュされます。
これで、2 番目のパブリッシャーが参加し、メッセージをパーティションにパブリッシュします。メッセージはどこにプッシュされますか? P1 にプッシュされますか? すでに PR1 がメッセージを P1 にプッシュしている場合、PR1 と PR2 の両方が同時にメッセージを P1 に連続して追加し、オフセット 0,1,2,3,4,5.... を作成しますか?