問題タブ [kafka-python]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
apache-kafka - Kafka キューへの書き込みと読み取りの間に遅延があるのはなぜですか?
Kafka キューからのメッセージを消費するワーカー サービスを作成し、数秒ごとにメッセージをキューに追加するテスト スクリプトも作成しました。
私が気付いたのは、メッセージがキューに追加されている間、コンシューマーが一度に数分間アイドル状態で座っていることが多いということです。すると突然、消費者は最初のメッセージを受け取り、それを処理し、すぐに残りのメッセージに移ります。最終的には追いつくのですが、そもそもなぜこんなに遅れているのでしょうか。
python - Kafka コンシューマーはプロデューサーからメッセージを受信しませんでした
以下は、カフカ プロデューサー用の私の python コーディングです。メッセージをカフカ ブローカーに発行できるかどうかはわかりません。コンシューマー側がメッセージを受信していないためです。プロデューサーコンソールコマンドを使用してテストしている間、私のコンシューマーpythonプログラムは正常に動作しています。
これは私の「消費者」のpythonコーディングです
python - 単一の生産者から複数の消費者 (同じ消費者グループ)
単一のプロデューサーから異なるコンシューマーグループ IDを持つ 2 つの異なるコンシューマーにメッセージを送信する前に試しました。その結果、両方の消費者が完全なメッセージを読み取ることができます (両方の消費者が同じメッセージを受け取ります)。しかし、これら 2 つのコンシューマーが同じコンシューマーグループ名で設定しているときに、異なるメッセージを読み取ることは可能ですか?
apache-kafka - 重複メッセージを配信するカフカ
異なるマイクロ サービス間でコマンド メッセージを調整するために kafka(0.9.0.0) を使用しています。重複したメッセージが特定のトピックに配信される断続的な問題が見つかりました。この問題が発生したときに発生するログを以下に示します。この問題を理解するのに役立つ人はいますか
apache-kafka - エラーを与えるkafka-python消費者
私はkafkaとkafka-pythonにかなり慣れていません。kafka-python をインストールした後、ここからコンシューマー コードの単純な実装を試みました - http://kafka-python.readthedocs.io/en/master/usage.html
私はkafkaのbinディレクトリから消費者コードを書いていて、そこからpythonコードを実行しようとしました。ただし、次のエラーが表示されます。
トレースバック (最後の最後の呼び出し): ファイル "KafkaConsumer.py"、4 行目、消費者のメッセージ: ファイル "/usr/local/lib/python2.7/dist-packages/kafka/vendor/six.py"、 559行目、次の戻り値の型(self)。next (self) ファイル "/usr/local/lib/python2.7/dist-packages/kafka/consumer/group.py"、915 行目、次の return next(self._iterator) ファイル "/usr/local/lib /python2.7/dist-packages/kafka/consumer/group.py"、876 行目、self._fetcher の msg の _message_generator: ファイル "/usr/local/lib/python2.7/dist-packages/kafka/vendor /six.py"、559 行目、次の戻り値の型 (self)。次の（自己）ファイル「/usr/local/lib/python2.7/dist-packages/kafka/consumer/fetcher.py」、520行目、 next(self._iterator) ファイル "/usr/local/lib/python2.7/dist-packages/kafka/consumer/fetcher.py"、477 行目、self._unpack_message_set(tp, messages) の msg の _message_generator を返します。ファイル "/usr/local/lib/python2.7/dist-packages/kafka/consumer/fetcher.py"、372 行目、_unpack_message_set inner_mset = msg.decompress() ファイル "/usr/local/lib/python2.7 /dist-packages/kafka/protocol/message.py"、121 行目、解凍アサート has_snappy()、「Snappy 解凍がサポートされていません」 AssertionError: Snappy 解凍がサポートされていません
そして、これは私が実行しようとしているコードです:
私は Kafka を初めて使用するので、自分が間違っていることを理解するのに苦労しています。
apache-kafka - プロデューサーが DNS 経由でブローカーに接続できない
私は物理サーバーを持っており、advertized.host.name をサーバー ip に設定し、ルーターでポート転送を行います。しかし、プロデューサーは dns を使用してブローカーに接続できません。
ERROR:pykafka.connection:Failed to connect to 192.168.1.3:9092 WARNING:pykafka.producer:Broker 192.168.1.3:9092 disconnected. 再試行しています。
python - Pythonを使用したKafkaプロデューサー:TypeError:すべてのプロデュースメッセージペイロードはnullまたはタイプバイトでなければなりません
Python と Kafka の学習を始めたばかりです。これは私が始めようとした最初の例です。 http://www.giantflyingsaucer.com/blog/?p=5541
そして、私は例外を得ました:
Googleで検索しましたが、何が問題なのかよくわかりません。誰かアドバイスをください。どうもありがとうございました！
これが私のコードです：