問題タブ [kafka-python]

pykafkaトピックの特定のパーティションにメッセージを公開するにはどうすればよいですか。次のコードのテスト トピックには 4 つのパーティションがあり、各メッセージをその 1 つに書き込むつもりですが、どうやらそのようには機能していないようです。

コンテキストとして、Python ワーカー プロセスを kafka (0.9.0) ベースのアーキテクチャに移行しようとしていますが、コンシューマ スレッドに関するパーティションの制限について混乱しています。パーティションに複数のコンシューマーがあると、同じパーティションの他のスレッドが現在のスレッドが終了するまで待機することになりますか?

Kafka-0.8.2.21 つのプロデューサー、1 つのコンシューマー、および 3 つのブローカーをすべて異なるマシンに配置して、マルチノード クラスターをセットアップしようとしています。

でトピックを作成中にproducer、エラーが発生しましorg.apache.zookeeper.KeeperException$NoNodeException: KeeperErrorCode = NoNode for /brokers/idsた。完全なコンソール出力は、こちらから入手できます。Kafka Producerのログにエラーはありません。

実行に使用しているコマンドKafkaは次のとおりです。

注: Zookeeper サービスはすべてのサーバーで実行されており、3 つのブローカーすべてで Kafka サーバーが実行されています ( Kafka サーバーが必要なのはブローカーだけですよね? )。

私のProducer.propertiesの構成は次のとおりです。

以下は、私が参照として使用していた多くの記事の一部です。

• Zookeeper と Kafka のインストール: 単一ノードと複数のブローカー クラスター - 2016
• Apache Kafka のインストールと Spark との通信の手順

ubuntu EC2マシンで 3 つの Kafka ブローカーをセットアップしようとしています。しかし、私はConnectException開始中に取得していzookeeperます。security groupインスタンスのすべてのポートec2がすでに開いています。

以下はスタック トレースです。

以下の構成です。

Zookeeper.properties :

server.properties :

インスタンスの/etc/hostsにサーバーのパブリック IP を追加しました。変更した /etc/hosts は次のとおりです。

の一意のmyidエントリ/tmp/zookeper/myidも正しく入力されます。

「 MultiNode を作成する方法 - Kafka on AWS の MultiBroker クラスター」に 記載されているすべての手順に従いました。

wurstmeister\kafka-dockerで画像 を使用しようとしていますdocker-composeが、すべてを接続するのに実際の問題があります。

私がチェックしたすべての投稿や質問には問題がないように見えますが、率直に言って迷っています。（そして、問題に対処しようとするSOには少なくとも2つの質問があります）

問題は、 のネットワークについての私の理解不足にあると思いdockerます。だから問題：

Kafka の同じコンテナーから消費および生成できますが、別のコンテナーを作成しようとすると (または Python クライアントでラップトップを使用すると)、advertised.host.nameパラメーターに関連するいくつかのエラーが発生しました (画像では、このパラメーターは ですKAFKA_ADVERTISED_HOST_NAME)

私はすでにこの変数をさまざまな方法で設定しようとしていますが、うまくいきません。

だから私は信頼できる答えを探しています（つまり、これらのパラメータを自動的に設定する方法とその意味）docker-compose.yml

これは私のものです：

アップデート

@dnephin のアドバイスに従って、start-kafka.sh次の行を変更しました。

から削除KAFKA_ADVERTISED_HOST_NAME: "kafka"しますdocker-compose.yml

私は標準的な方法でコンテナを開始しました：

両方のコンテナーが実行されています。

その後、私はしました：

そして、すべてがスムーズに実行されます。

IP アドレスを確認するには:

次に、2 つの異なるコンソールで実行します。

プロデューサー:

消費者:

ほとんどすぐに、警告が画面全体に飛び交い始めます。

等々

プロデューサーのコンソールで、いくつかの文章を書きました。

そしてしばらくすると、こんな返事が返ってきました。

そして、docker-compose logs

更新 2

少なくとも、docker-machine次のように機能させました。

まず、次の名前の変数を定義しましたdocker-machine。

次に、次のように変更docker-compose.ymlします。

最後に、 の環境でdocker-machine、次を実行します。

しかし、ラップトップでは（つまり、仮想マシンを使用しないと機能しません）

kafka で replica=2 のトピックを作成し、docker マシンで kafka を実行しています。

通常、ポート 9092 で docker に接続できるはずですが、できません。

一方、32783 を使用して接続できます。理由がわかりませんか?