18

S3 にある pyarrow で寄木細工のファイルを上書きしようとしています。ドキュメントを見ましたが、何も見つかりませんでした。

これが私のコードです:

from s3fs.core import S3FileSystem
import pyarrow as pa
import pyarrow.parquet as pq

s3 = S3FileSystem(anon=False)
output_dir = "s3://mybucket/output/my_table"

my_csv = pd.read_csv(file.csv)
my_table = pa.Table.from_pandas(my_csv , preserve_index=False)

pq.write_to_dataset(my_table, 
                    output_dir,
                    filesystem=s3,
                    use_dictionary=True,
                    compression='snappy')

mode = "overwrite"write_to_dataset 関数にオプションのようなものはありますか?

4

2 に答える 2