amazon-web-services - Amazon Redshift Spectrum へのデータのロード中に二重引用符 " を削除します

Question

データを amazon redshift 外部テーブルにロードしたい。データは CSV 形式で、引用符があります。redshift外部テーブルのコピーコマンドにあるREMOVEQUOTESのようなものはありますか。また、固定長データを外部テーブルにロードするためのさまざまなオプションは何ですか。

Answer 1

正規表現を使用して、複数の文字で囲まれたデータを解析することもできます。例 (CSV ファイルでは、フィールドは 3 つの二重引用符 (""") で囲まれています):

ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.AbstractSerDe'
WITH SERDEPROPERTIES (
    'input.regex' = "^\"*([^\"]*)\"*,\"*([^\"]*)\"*,\"*([^\"]*)\"*,\"*([^\"]*)\"*,\"*([^\"]*)\"*,\"*([^\"]*)\"*,\"*([^\"]*)\"*,\"*([^\"]*)\"*,\"*([^\"]*)\"*$"  ) 
)