プロジェクトの一環として、S3上にかなりふさふさしたフォルダー/ファイルツリーを作成しました。すべてのファイルが約6TBのデータを使用しています。現在、このデータのバックアップはありません。これは悪いことです。定期的なバックアップを行いたい。氷河が行く道のようです。
問題は、バックアップの総コストを抑える方法は何ですか？
ほとんどのファイルはテキストであるため、ファイルを圧縮してZIPアーカイブ全体をアップロードできます。これには（EC2での）処理が必要になるため、圧縮されていないファイルをアップロードする場合と、圧縮するためにEC2インスタンスを実行する場合の追加コストを比較するための経験則があるかどうか知りたいです。
また、データ転送の料金を支払う必要があるため、（i）S3からインスタンスにファイルをダウンロードする以外にバックアップする方法があるかどうか疑問に思っています。（ii）ファイルを未加工の形式でアップロードするか、Glacierに圧縮します。
私は一般的に、Glacierを追加のストレージではなく、S3の代替ストレージと考えています。つまり、データはほとんどの場合S3またはGlacierのいずれかに保存されますが、両方が保存されることはめったにありません。
S3が宣伝している11ナインの耐久性を信頼している場合は、S3自体がデータを失う可能性があるため、バックアップしていません。
（私と同じように）Amazonアカウントが単一障害点と見なされるため、データをバックアップすることをお勧めします（たとえば、資格情報が侵害されたり、Amazonがあなたが不正な行為をしていると信じてアカウントをブロックしたりします）。ただし、その場合、GlacierはまだAmazonの傘下にあるため、十分なバックアップではありません。
ユーザーエラーや認証情報の侵害などが原因でS3のデータが失われることが懸念される場合は、Amazonの外部でS3データをバックアップすることをお勧めします。
データにアクセスする必要がほとんどないことがわかっている場合は、Glacierを長期の安価なストレージのデータをアーカイブする場所として使用することをお勧めします。物事がGlacierに移行したら、S3から削除します。
Amazonは、S3からGlacierへの自動アーカイブを提供しています。これはうまく機能しますが、ファイルの平均サイズが小さい場合は、追加コストに注意してください。これが私がその危険について書いた記事です：
S3オブジェクトをGlacierに移行するコスト
http://alestic.com/2012/12/s3-glacier-costs
それでもS3からGlacierにコピーしたい場合は、質問に関連するいくつかのポイントがあります。
おそらくGlacierにデータを長時間残すことになるので、データを圧縮することはおそらく短期間のCPU使用の価値があります。正確なトレードオフは、データの圧縮性、圧縮にかかる時間、圧縮を実行する必要がある頻度などの要因によって異なります。
S3からEC2インスタンスへのデータのダウンロードは無料です。Glacierにデータをアップロードするためのデータ転送料金はありません。
多数の小さなファイルをGlacierにアップロードする場合、アイテムごとのアップロード料金が加算される可能性があります。多くの小さなファイルをアーカイブにまとめてアップロードすることで、コストを節約できます。
ユーザーのエラーや攻撃による偶発的な損失から保護するのに役立つもう1つのS3機能は、S3バージョン管理をオンにして、MFA（多要素認証）を有効にすることです。これにより、クレデンシャルと物理デバイスを所有していない限り、誰もがオブジェクトを完全に削除できなくなります。
私は最初、バックアップしたいS3バケットで同じ問題に次のようにして対処しました。
これは問題なく機能しますが、自分の目的のために、バケットでバージョン管理を有効にする方が簡単であると判断しました。これにより、オブジェクトが誤って削除または更新された場合でも、確実に回復できます。このアプローチの欠点は、ブランチまたはサブツリー全体を復元するプロセスに時間がかかる可能性があることです。しかし、それはより簡単で、より費用効果が高く、バケツの中身を永久的な破壊から保護するのに十分です。
それが将来誰かを助けることを願っています。