0

カフカからストリームデータを並行して受信したいだけです。これが私のコードです:

val myKafkaStream = (1 to numReceivers.toInt).map { i =>
   KafkaUtils.createStream(ssc, zkQuorum, group, topicMap)
}

yarn でコードを実行すると、numReceiver は 5 で、コードは機能します。しかし問題は、データを受信する受信機が 2 つだけであるということです。num-executor は 5、executor-core は 2

結果:

KafkaReveiver-0 : 49637.95 event/sec
KafkaReveiver-1 : 0.0 event/sec
KafkaReveiver-2 : 0.0 event/sec
KafkaReveiver-3 : 49616.85 event/sec
KafkaReveiver-4 : 0.0 event/sec
4

0 に答える 0