scala - ScalaでDataFrameをRDDに変換するには?

Question

dataframeを に変換する方法を教えてくださいRDD。

Answer 1

Simply:

val rows: RDD[Row] = df.rdd

Answer 2

df.map(row => ...)行を別の RDD 要素にマップする場合は、データフレームを RDD に変換するために使用します。例えば

df.map(row => (row(1), row(2)))

df の最初の列がキーで、df の 2 番目の列が値であるペアの RDD を提供します。

Answer 3

私は自分の答えを探していて、この投稿を見つけました。

その「df.rdd」を追加すると、RDD [Rows]が返されます。RDD を取得したら、split() を適用する必要があります。そのためには、RDD[Row} を RDD[String] に変換する必要があります。

val opt=spark.sql("select tags from cvs").map(x=>x.toString()).rdd