データフレームを寄木細工に保存してから、redshift にロードしようとしています。そのために私は次のことを行います:
parquet_buffer = BytesIO()
df.to_parquet(parquet_buffer,index=False,compression='gzip')
s3.Bucket(write_bucket).put_object(Key=write_path,Body=parquet_buffer.getvalue())
次に、「COPY」コマンドを使用して、保存したファイルを直接 redshift に読み込みます。
COPY table_name
from write_path
iam_role my_iam_role
FORMAT AS PARQUET
次のエラーが発生します。
write path: has an incompatible Parquet schema for column ...
.csv で同じ手順を適用すると、問題なく動作します。寄木細工に切り替えるときの問題の原因は何ですか?