私は Scala ( ref )で Kafka の作業を介して Spark Streaming を行っています。
public static <K,V,U extends kafka.serializer.Decoder<?>,T extends kafka.serializer.Decoder<?>> ReceiverInputDStream<scala.Tuple2<K,V>> createStream(StreamingContext ssc, scala.collection.immutable.Map<String,String> kafkaParams, scala.collection.immutable.Map<String,Object> topics, StorageLevel storageLevel, scala.reflect.ClassTag<K> evidence$1, scala.reflect.ClassTag<V> evidence$2, scala.reflect.ClassTag<U> evidence$3, scala.reflect.ClassTag<T> evidence$4)
バッチ間隔ごとに、同じDStreamおよび基礎となるさまざまなタイプのメッセージ (異なるデコーダーを必要とする) を受信したいと考えています。RDD複数のトピックをリッスンし、各トピックが 1 つのメッセージ タイプに対応するため、独自のDecoder. 現在、トピックごとに提供する方法はないようですkafka.serializer.Decoder<?>(ありますか?)。トピックごとに異なるタイプのメッセージを送信する可能性がかなり高いようです (protobufシリアライズされたバイト?)。他の誰かがこの問題に遭遇しましたか?
ありがとう。
C.
ここのどこかtopicへのマッピングが役立つようです。valueDecoder