マルチパートアップロード機能を備えた Linux で使用している amazon s3 クライアントは何ですか? アップロードする 6 GB の zip ファイルがあり、最大 5 GB しかないため、s3curl は使用できません。
ありがとう。ジェームズ
マルチパートアップロード機能を備えた Linux で使用している amazon s3 クライアントは何ですか? アップロードする 6 GB の zip ファイルがあり、最大 5 GB しかないため、s3curl は使用できません。
ありがとう。ジェームズ
私はS3ツールを使用しています。すべてのPUTコマンドで15MBを超えるファイルに対してマルチパートアップロード機能を自動的に使用します。
マルチパートはデフォルトで有効になっており、15MBを超えるファイルに対して起動します。このしきい値は、—multipart-chunk-size-mb = 5を使用して5MB(Amazonの制限)まで、または5〜5120MBのその他の値に設定できます。
インストールと構成が完了したら、次のコマンドを発行するだけです。
~$ s3cmd put largefile.zip s3://bucketname/largefile.zip
または、 zipファイルのコマンドラインからsplitを使用することもできます。
split -b1024m largefile.zip largefile.zip-
後でファイルシステムで以下を使用して再結合します。
cat largefile.zip-* > largefile.zip
2番目のオプションを選択した場合は、アップロードする前にファイルのMD5ハッシュを保存して、後で再結合するときにアーカイブの整合性を確認できるようにすることができます。
boto ライブラリには、s3put
大きなファイルのマルチパート アップロードを処理できると呼ばれる s3 コマンド ライン ツールが含まれています。
個人的には、boto とマルチパート アップロードを使用して大きなファイルをアップロードするための単純な機能を備えた python ファイルs3upload.pyを作成しました。
大きなファイルをアップロードする必要があるたびに、次のようなコマンドを実行します。
python s3upload.py bucketname extremely_large_file.txt
詳細と機能コードは、こちらで確認できます。
FTP/Amazon S3/Glacier クライアントCrossFTPを見ることができます。
S3 バケットをファイルシステムにマウントできます。
s4cmdを使い始めたばかりで、50GBのファイルを問題なく処理できました