問題タブ [pykafka]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
python - PyKafka API の使用
私は Kafka と PyKafka の初心者です。以下のコードを使用して PyKafka でプロデューサーとコンシューマーが作成されることを知っています。
KafkaClient とは何か、プロデューサーとコンシューマーの作成にどのように役立つかを知りたいです。
client.cluster
と を使用してクラスターとブローカーを作成できることを読みましclient.broker
たが、ここでの使用を理解できませんclient
。
apache-kafka - リモート Kafka へのプロデュース/コンシュームが機能しない
Bitnami AMI イメージを介して Apache Kafka 0.8 を実行する AWS EC2 インスタンスをセットアップしました。サーバーのプロパティはほぼデフォルトです (Kafka は localhost:9092 にあり、zookeeper は localhost:2181 にあります)。
マシンに SSH 接続すると、kafka/bin にある Kafka が提供するスクリプトを使用してデータを生成/消費できます。生成するには、次のコマンドを実行します。
消費するには:
これは正しく動作するため、Kafka が正しく機能していると判断しました。次に、python ライブラリ pykafka を使用して、自分のマシンから生成/消費しようとしました。
そして、私は次のように消費します:
これらのスニペットはエラーや例外なしで実行されますが、ローカル スクリプトを介して作成されたものであっても、メッセージが生成または消費されることはありません。
ポート9092と2181の両方がtelnet経由で開いていることを確認しました。私の質問は次のとおりです。
- このような問題をデバッグして根本原因を見つける方法はありますか? 接続の問題がある場合、ライブラリが例外をスローすることを期待しています。
- 何が起こっている?
apache-spark - pykafka コンシューマーを使用してトピックからデータを取得する方法
Pykafka コンシューマーからデータを取得する方法がわかりません。消費者からトピックを印刷することさえ問題があります。問題は、コンシューマーで呼び出すメソッドが何であれ、プロセスが永久にハングしていることです。コンシューマーを使用せずに初期化すると、プロセスは終了します。事前に助けてくれてありがとう。