scala - 他のデータセットの一部を使用して Spark データセットを作成する

Question

別のデータセットから間隔を取得して新しいデータセットを作成しようとしています。たとえば、dataset1 を入力、dataset2 を出力とします。

dataset1 = [1, 2, 3, 4, 5, 6]
dataset2 = [1, 2, 2, 3, 3, 4, 4, 5, 5, 6]

配列を使用してそれを行うことができましたが、mlib にはデータセットが必要です。

配列を使用した私のコード:

def generateSeries(values: Array[Double], n: Int): Seq[Array[Float]] = {
    var res: Array[Array[Float]] = new Array[Array[Float]](m)
    for(i <- 0 to m-n){
        res :+ values(i to i + n)
    }
    return res
}

FlatMap は進むべき道のように思えますが、関数はどのようにしてデータセット内の次の値を検索できるのでしょうか?