scala - Apache Spark を使用して MongoDB データを parquet ファイル形式に保存する

Question

私はApache SparkとScalaプログラミング言語の初心者です。

私が達成しようとしているのは、ローカルの mongoDB データベースからデータを抽出し、Apache Spark と hadoop-connector を使用して寄木細工の形式で保存することです。

これまでの私のコードは次のとおりです。

package com.examples 
import org.apache.spark.{SparkContext, SparkConf} 
import org.apache.spark.rdd.RDD 
import org.apache.hadoop.conf.Configuration 
import org.bson.BSONObject 
import com.mongodb.hadoop.{MongoInputFormat, BSONFileInputFormat} 
import org.apache.spark.sql 
import org.apache.spark.sql.SQLContext 

object DataMigrator { 

    def main(args: Array[String])
    { 
        val conf = new SparkConf().setAppName("Migration    App").setMaster("local") 
        val sc = new SparkContext(conf) 
        val sqlContext = new SQLContext(sc) 

        // Import statement to implicitly convert an RDD to a DataFrame 
        import sqlContext.implicits._ 

        val mongoConfig = new Configuration() 
        mongoConfig.set("mongo.input.uri",   "mongodb://localhost:27017/mongosails4.case") 

        val mongoRDD = sc.newAPIHadoopRDD(mongoConfig, classOf[MongoInputFormat], classOf[Object], classOf[BSONObject]);     

        val count = countsRDD.count()

        // the count value is aprox 100,000 
        println("================ PRINTING =====================") 
        println(s"ROW COUNT IS $count") 
        println("================ PRINTING =====================") 
    } 
} 

問題は、データを寄木細工のファイル形式に保存するには、最初に mongoRDD 変数を Spark DataFrame に変換する必要があるということです。私はこのようなことを試しました:

// convert RDD to DataFrame
val myDf = mongoRDD.toDF()  // this lines throws an error
myDF.write.save("my/path/myData.parquet")

私が得るエラーはこれです： Exception in thread "main" scala.MatchError: java.lang.Object (of class scala.reflect.internal.Types.$TypeRef$$anon$6)

データをparquet形式で保存できるように、RDDをDataFrameに変換する方法について他に何か考えはありますか?

mongoDB コレクション内の 1 つのドキュメントの構造は次のとおりです: https://gist.github.com/kingtrocko/83a94238304c2d654fe4