問題タブ [kafka-consumer-api]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
mysql - Kafka コンシューマー メッセージをデータベースに保存する
ストリーム分析用のストリーミング データベースの作成に取り組んでいます。mySQLやHiveなどのデータベースでKafkaメッセージを更新して分析に使用するための段階的なコードを教えてもらえますか?
Zookeeper と Kafka をセットアップしましたが、永続的なデータベースにメッセージを保存してレポートに使用することができません。
apache-kafka - java.io.IOException: kafka のピアによって接続がリセットされました
ubuntu ボックスにインストールされた kafka_2.10-0.8.1.1 の Java API を使用しており、High Level Consumer を実行するとjava.io.IOException: Connection reset by peerを取得しています。kafka-console-consumer.sh コマンドでは問題なく動作しますが、Java API では動作しません
apache-kafka - Kafka 0.8.2 ConsumerMetadataRequest は常に ConsumerCoordinatorNotAvailableCode を返す
私はkafka 0.8.2を使用しています。ドキュメントにあるように、フェッチとコミットのオフセット API を使用したいです。
特定のコンシューマー グループのオフセットは、オフセット コーディネーターと呼ばれる特定のブローカーによって維持されます。つまり、コンシューマは、この特定のブローカにオフセット コミットおよびフェッチ リクエストを発行する必要があります。コンシューマー メタデータ リクエストを発行することで、現在のオフセット コーディネーターを検出できます。
したがってConsumerMetadataRequest、正しい応答を取得する代わりに、常にConsumerCoordinatorNotAvailableCodeを取得します。
ブローカーは、オフセット トピックがまだ作成されていない場合、コンシューマー メタデータ リクエストまたはオフセット コミット リクエストに対してこのエラー コードを返します。
問題のないkafka 0.8.2betaバージョンを使用すると。
また、go client sarama__consumer_offsetsを使用します。メタデータを取得する前にトピックを作成しました。そして、ここに私の設定があります：
apache-storm - Kafka スパウト 同じメッセージを複数回読む
ストーム トポロジで Kafka スパウトの並列処理を増やした場合、トピック内の同じメッセージを複数回読み取るのをどのように停止できますか?
java - kafka.apache.org で例を実行すると、Kafka コンシューマーがメッセージを受信しない
私は Kafka を初めて使用し、https://cwiki.apache.org/confluence/display/KAFKA/Consumer+Group+Exampleで消費者の例を実行しようとしていますが、メッセージを受け取りません。
Eclipse コンソールの出力は次のとおりです。
以下は消費者向けの私のコードです
これは ConsumerMsgTask です
これが私の ProducerDemo です
}
以下のコマンドでトピック「test1」を作成しました
これは、OpenJDK "1.7.0_45" を使用して、CentOS リリース 6.5 (Final) で実行されている Kafka 0.8.2 を使用しています。