6

マルチパートアップロード機能を備えた Linux で使用している amazon s3 クライアントは何ですか? アップロードする 6 GB の zip ファイルがあり、最大 5 GB しかないため、s3curl は使用できません。

ありがとう。ジェームズ

4

7 に答える 7

12

私はS3ツールを使用しています。すべてのPUTコマンドで15MBを超えるファイルに対してマルチパートアップロード機能を自動的に使用します。

マルチパートはデフォルトで有効になっており、15MBを超えるファイルに対して起動します。このしきい値は、—multipart-chunk-size-mb = 5を使用して5MB(Amazonの制限)まで、または5〜5120MBのその他の値に設定できます。

インストールと構成が完了したら、次のコマンドを発行するだけです。

~$ s3cmd put largefile.zip s3://bucketname/largefile.zip

または、 zipファイルのコマンドラインからsplitを使用することもできます。

split -b1024m largefile.zip largefile.zip-

後でファイルシステムで以下を使用して再結合します。

cat largefile.zip-* > largefile.zip

2番目のオプションを選択した場合は、アップロードする前にファイルのMD5ハッシュを保存して、後で再結合するときにアーカイブの整合性を確認できるようにすることができます。

于 2013-03-08T06:33:26.360 に答える
5

boto ライブラリには、s3put大きなファイルのマルチパート アップロードを処理できると呼ばれる s3 コマンド ライン ツールが含まれています。

于 2013-03-09T18:38:00.453 に答える
1

個人的には、boto とマルチパート アップロードを使用して大きなファイルをアップロードするための単純な機能を備えた python ファイルs3upload.pyを作成しました。

大きなファイルをアップロードする必要があるたびに、次のようなコマンドを実行します。

python s3upload.py bucketname extremely_large_file.txt

詳細と機能コードは、こちらで確認できます。

于 2015-08-17T02:10:21.910 に答える
1

FTP/Amazon S3/Glacier クライアントCrossFTPを見ることができます。

于 2013-07-17T06:59:22.237 に答える
0

S3 バケットをファイルシステムにマウントできます。

于 2013-03-08T06:12:34.323 に答える
0

s4cmdを使い始めたばかりで、50GBのファイルを問題なく処理できました

于 2015-11-24T01:42:37.280 に答える