問題タブ [python-s3fs]

次のようなディレクトリ構造があり、接頭辞が /folder1 の場合、

各リーフフォルダー内のファイルを個別に読み取るために、これらのディレクトリを動的にループしたい、つまりリストが必要です

最後の (リーフ) フォルダーに到達するまで、各プレフィックスを再帰的にループする、次のレベルのプレフィックスを取得する、連結する、次のレベルを取得するなど以外に、それを取得するより良い方法はありますか?

s3://my-bucket/in.tsv.gzロードして処理したい大きなファイルがあり、その処理済みバージョンを s3 出力ファイルに書き戻しますs3://my-bucket/out.tsv.gz。

1. すべてのファイルをメモリにロードせずにs3から直接合理化するにはどうすればよいですかin.tsv.gz（メモリに収まりません）
2. 処理された gzip ストリームを s3 に直接書き込むにはどうすればよいですか?

.tsv次のコードでは、入力 gzip されたデータフレームを s3 からロードする方法と、それがローカルに配置されている場合にどのように記述するかを示していbucket_dir_local = ./ます。

編集：smart_openは行くべき道のように見えます。