twitter - 値 registerAsTable は org.apache.spark.rdd.RDD のメンバーではありません[Tweet]

Question

zeppelin で REST API を使用して Twitter データを抽出しようとしています。オプションregisterAsTableとregisterTempTableの両方を試しましたが、どちらの方法も機能しません。エラーを解決するのを手伝ってください。zeppelin チュートリアル コードの実行中に以下のエラーが発生しました:

エラー: 値 registerAsTable は org.apache.spark.rdd.RDD[Tweet] .foreachRDD(rdd=> rdd.registerAsTable("tweets") のメンバーではありません

Answer 1

RDDはテーブルとして登録できませんが、データフレームは登録できます。RDD をデータフレームに変換し、結果のデータフレームを tempTable またはテーブルとして書き込むことができます。

以下のようにRDDをDataframeに変換できます

val sqlContext = new SQLContext(sc) 
import sqlContext.implicits._
rdd.toDF()

Sparkおよびhttp://spark.apache.org/docs/latest/sql-programming-guide.htmlで rdd オブジェクトをデータフレームに変換する方法を参照してください。