型パラメーターを受け取るという特性があり、そのメソッドの 1 つは空の型付きデータセットを作成できる必要があります。
trait MyTrait[T] {
val sparkSession: SparkSession
val spark = sparkSession.session
val sparkContext = spark.sparkContext
def createEmptyDataset(): Dataset[T] = {
import spark.implicits._ // to access .toDS() function
// DOESN'T WORK.
val emptyRDD = sparkContext.parallelize(Seq[T]())
val accumulator = emptyRDD.toDS()
...
}
}
これまでのところ、私はそれを機能させていません。それは不平を言いますno ClassTag for T
、そしてそれはvalue toDS is not a member of org.apache.spark.rdd.RDD[T]
どんな助けでも大歓迎です。ありがとう!