3

文字列のリストがありますが、リストをスパーク ストリーミングの DStream に変更する方法が見つかりません。私はこれを試しました：

val tmpList = List("hi", "hello")    
val rdd = sqlContext.sparkContext.parallelize(Seq(tmpList))   
val rowRdd = rdd.map(v => Row(v: _*))

しかし、日食はsparkContextがsqlContextのメンバーではないと言っているので、どうすればこれを行うことができますか? よろしくお願いします。

4

1 に答える 1

3

DStream は RDD のシーケンスであり、受信したものを Kafka などのストリーミング ソースに登録すると作成されます。RDD のリストから DStream を作成するかどうかをテストするには、次のようにします。

val rdd1 = sqlContext.sparkContext.parallelize(Seq(tmpList))
val rdd2 = sqlContext.sparkContext.parallelize(Seq(tmpList1))
ssc.queueStream[String](mutable.Queue(rdd1,rdd2))

それがあなたの質問に答えることを願っています。

于 2016-10-27T04:43:55.933 に答える