いくつかの計算値があり、それらを SparkR に保存したいと考えています。
csvファイルとして保存すると
write.csv(data, file="/.../data.csv", row.names=FALSE)
何らかの理由で非常に長い時間がかかります。これを行うより良い方法はありますか？
1 に答える
0
csv ファイルは、一時的に使用するために /tmp/ に保存できます。ただし、クラスターが再起動すると、ファイルは削除されます。ファイル名を file = "/tmp/filename.csv" として指定します
もう 1 つの選択肢として、テーブルを登録できます。https://spark.apache.org/docs/latest/sparkr.htmlを参照してください
于 2015-08-04T23:05:03.230 に答える