1

型パラメーターを受け取るという特性があり、そのメソッドの 1 つは空の型付きデータセットを作成できる必要があります。

trait MyTrait[T] {
    val sparkSession: SparkSession
    val spark = sparkSession.session
    val sparkContext = spark.sparkContext

    def createEmptyDataset(): Dataset[T] = {
        import spark.implicits._ // to access .toDS() function
        // DOESN'T WORK.
        val emptyRDD = sparkContext.parallelize(Seq[T]())
        val accumulator = emptyRDD.toDS()
        ...
    }
}

これまでのところ、私はそれを機能させていません。それは不平を言いますno ClassTag for T、そしてそれはvalue toDS is not a member of org.apache.spark.rdd.RDD[T]

どんな助けでも大歓迎です。ありがとう!

4

1 に答える 1