0

Bluemix オブジェクト ストレージに DataFrame を Parquet ファイルとして保存するために、Spark Notebook を実行しています。

ノートブックを再実行するときに、Parquet ファイルを上書きしたいと考えています。しかし、実際にはデータを追加しているだけです。

iPython コードのサンプルの下:

df = sqlContext.sql("SELECT * FROM table")
df.write.parquet("swift://my-container.spark/simdata.parquet", mode="overwrite")
4

2 に答える 2

0

私はPythonの男ではありませんが、SaveModeはこのようなデータフレームで機能します

df.write.mode(SaveMode.Overwrite).parquet("swift://my-container.spark/simdata.parquet")
于 2016-05-12T13:08:43.070 に答える