apache-spark - SimpleConsumerを介してKafkaでフェッチリクエストなしでメッセージのサイズ(メタデータ)を取得する方法は?

Question

私は SimpleConsumer を使用しており、spark を使用してメッセージ サイズ (バイト) をプルしようとしています。

メタデータ リクエストを使用して最も古いオフセットと最新のオフセットを取得できますが、kafka (0.8.0) でバイト数を取得する方法がわかりません。

十分なデータをチェックしたいので、アクションを実行するためにsparkジョブ（ストリーミングではなく）のみを実行するため、フェッチリクエストを使用したくありません。

Answer 1

メタデータ応答からサイズを取得できません。サイズを取得するには、意味のないメッセージをダウンロードする必要があります。