私はDataFrame APIを使用しています。
既存の DataFrame と List オブジェクトがあります (Array も使用できます)。このリストを既存の DataFrame に新しい列として追加するにはどうすればよいですか? これにはクラスColumnを使用する必要がありますか?
7006 次
4 に答える
5
おそらく、リストを単一の列RDDに変換し、基準ピックに結合を適用する必要があります。シンプルな DataFrame 変換:
val df1 = sparkContext.makeRDD(yourList).toDF("newColumn")
結合を実行するために追加の列を作成する必要がある場合は、さらに列を追加して、リストをマッピングできます。
val df1 = sparkContext.makeRDD(yourList).map(i => (i, fun(i)).toDF("newColumn", "joinOnThisColumn")
私は Java のバージョンに詳しくありませんが、このドキュメントJavaSparkContext.parallelize(yourList)に基づいて同様のマッピング操作を使用して適用してみてください。
于 2015-08-21T09:02:06.927 に答える
2
申し訳ありませんが、それは私のせいでした。withColumn(String colName, Column col)私の問題を解決する機能はすでに見つかりました
于 2015-08-21T09:01:23.200 に答える