私はconfluent-kafka-pythonとlibrdkafkaを使用しています。

しかし、confluent_kafka.Consumer.consume(0)は stats_cb をトリガーできないと思います。

Consumer_consume(0) => rd_kafka_consume_batch_queue => rd_kafka_q_serve_rkmessages

で、rd_kafka_poll_cbで呼び出されますwhile (cnt < rkmessages_size) loop。0 の場合rkmessages_sizeは呼び出されません。

この場合、rk_repますます大きくなることがあります。

で stats_cb をトリガーする方法はConsumer_consume(0)? ありがとう

説明

コンシューマーをセットアップしようとしていますが、初期化が完了してメッセージの受信が開始されるまでに 5 秒かかります。私はCppKafka (librdkafka ラッパー) を使用していますが、ライブラリの問題ではなく、設定ミスの問題だと思います。

以前は docker 内で kafka を使用していましたが、起動の遅延は 10 秒でした。現在、Kafka Web サイトでこのクイックスタートを使用しており、起動遅延は 5 秒になりました。

このような ConsumeOne 関数があります。

そして、別のスレッドで、アプリケーションログで確認できる時間を記録しています

アプリケーション ログ

Kafka ログ

これを印刷すると、5秒のマークまで何も表示されません。

この問題: https://github.com/edenhill/librdkafka/issues/1597に多少似ているよう ですが、最新のブローカー バージョンを使用しています。

Python コンシューマー/プロデューサーを使用してテストを行いましたが、起動の遅延は発生しませんでした。どんな助けでも大歓迎です。

• librdkafka バージョン: librdkafka-1.3.0-1
• Apache Kafka バージョン: kafka_2.12-2.4.0
• オペレーティングシステム: Antergos / Arch

アップデート

最新の librdkafka (マスター - e2dee3ad047f6783e5363cdd75e7c009e0c99a8d) を取得した後、起動時間が 3 秒に短縮されました。新しいログは次のとおりです。

Local: Timed out2 秒未満のタイムアウトが指定された場合、プロデューサーも例外をスローする ようになりました

pypiの現在の Confluent-Kafka パッケージでログに記録された問題があるようです。

問題が発生するまで機能していた次のコードを含む Dockerfile があります。

この問題の github ページには、問題を回避するためのいくつかの提案がありました。

1）うまくいかなかった回避策：

2）うまくいかなかった回避策：

この問題が解決されるまで、誰かが私を動かすように提案できる、私が試したことのない回避策があるかどうか疑問に思っています..

Hololens 用の UWP アプリケーションを作成しており、Kafka クライアントが必要です。confluent-kafka- dotnet ( https://github.com/confluentinc/confluent-kafka-dotnet ) と librdkafka ( https://github.com/edenhill/librdkafka ) からビルド済みの .dll を使用しましたが、実行するとそのエラーが発生するアプリケーション:

「DLL 'kernel32.dll' を読み込めません: 指定されたモジュールが見つかりませんでした。」

UWP 用ではなく、x86 や x64 (デスクトップ) などの標準アーキテクチャ用にファイルがリリースされているため、問題は librdkafka.dll にあると思います。

それで、その問題を進める方法をいくつか提案していただけますか？librdkafka を Universal Windows Platform の VC++ プロジェクトとして再構築する必要がありますか?

前もって感謝します