apache-spark - jdbcを使用してRedshiftテーブルからSpark 2.0.0を切り捨てる

Question

こんにちは、テーブルを切り捨てたい Redshift で Spark SQL(2.0.0) を使用しています。私はこのspark- redshift パッケージを使用しています & テーブルを切り捨てる方法を知りたいです.誰でもこの例を共有できますか??

Answer 1

modesave を呼び出す前にライブラリにを指定する必要があります。例えば：

my_dataframe.write
   .format("com.databricks.spark.redshift")
   .option("url", "jdbc:redshift://my_cluster.qwertyuiop.eu-west-1.redshift.amazonaws.com:5439/my_database?user=my_user&password=my_password")
   .option("dbtable", "my_table")
   .option("tempdir", "s3://my-bucket")
   .option("diststyle", "KEY")
   .option("distkey", "dist_key")
   .option("sortkeyspec", "COMPOUND SORTKEY(key_1, key_2)")
   .option("extracopyoptions", "TRUNCATECOLUMNS COMPUPDATE OFF STATUPDATE OFF")
   .mode("overwrite") // "append" / "error"
   .save()