問題タブ [kafka-python]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
python - kafka-python - パーティションをコミットするにはどうすればよいですか?
kafka-python-1.0.2 を使用。
10 個のパーティションを持つトピックがある場合、さまざまなパーティションとメッセージをループしながら、特定のパーティションをコミットするにはどうすればよいですか。ドキュメントやその他の場所で、この例を見つけることができないようです
ドキュメントから、使用したい：
consumer.commit(offset=offsets)
具体的には、オフセットに必要なパーティションと OffsetAndMetadata ディクショナリを作成する方法 (dict、オプション) – {TopicPartition: OffsetAndMetadata}.
関数呼び出しが次のようになることを望んでいました。
consumer.commit(partition, offset)
しかし、そうではないようです。
前もって感謝します。
python - トピックを作成してメッセージを送信する Kafka 基本セットアップのエラー メッセージ
Kafka をセットアップしようとしていますが、重要な問題がいくつかあります。トピックを作成したり、メッセージを送信したりすることさえできません。私の Kafka のバージョン番号は 0.9.0.1 です。ご協力ありがとうございます。
以下に私のエラーメッセージを見つけてください：
python - Python - スキーマのない Apache Avro データのシリアル化
Python 2.7 と Apache Avro(python client) を使用して、kafka ブローカーを介してシリアル化されたメッセージを交換しようとしています。以前にスキーマを作成せずにメッセージを交換する方法があるかどうか知りたいです。
これはコードです（スキーマ、sensor.avscを使用して、私が避けたいことです）：
これは、sensor.avsc ファイルです。
python-2.7 - pysparkを使用して、スパーク変換されたデータをkafkaブローカーに書き戻す方法は?
私の pyspark アプリでは、「飛行中」の Kafka メッセージを変換する方法として Spark ストリーミングを使用するつもりです。このような各メッセージは、最初に特定の Kafka トピックから受信されます。このようなメッセージは、いくつかの変換を行う必要があり (つまり、ある文字列を別の文字列に置き換えます)、変換されたバージョンを別の Kafka トピックに投稿する必要があります。最初の部分 (Kafka メッセージの受信) は正常に動作しているようです。
何か (たとえば、文字列) を別の Kafka トピックに配置するための適切な構文は何ですか? そのようなメソッドは KafkaUtils によって提供される必要がありますか、それとも他の方法で利用できるようになりますか?