問題タブ [s3cmd]

EC2 Ubuntu インスタンスにあるリバース プロキシ マシンとして使用している nginx サーバーのログ ローテーション構成を使用しようとしています。

ローテーション後にこれらのログを S3 バケットに保存したいのですが、s3cmd ツールを構成しようとすると、「アクセスが拒否されました。キーに ListAllMyBuckets 権限エラーがありますか?」というメッセージしか表示されません。

私の資格情報が IAM で正しく構成されていることは確かです。少なくとも 5 つの異なる資格情報 (ルート資格情報も含む) を試してみましたが、結果は同じでした。同じ資格情報を持つ aws cli ツールを使用して、ローカル コンピューターからすべてのバケットを一覧表示しても問題なく機能するため、EC2 インスタンスだけにアクセスできないことに困惑します。

これは私が実行するものです：

そしてこれが結果です

nginx サーバーの前にあるのはロード バランサーだけですが、それが私の要求を妨害する理由がわかりません。それは私が見逃した何か他のものでしょうか？

Amazon Web サービスの S3 との間でコードをアップロードおよびダウンロードするための 2 つの簡単なスクリプトがあります。

ただし、これらのスクリプトは、オプションを使用しない場合にのみ機能し--encryptます。結果のファイルは、暗号化なしで 11MB あり、正常に解凍されます。暗号化を使用すると 9MB ですが、解凍しようとするとエラーが発生します。--decryptオプションがなく--encrypt、ダウンロードでの使用も機能しなかったため、S3 からファイルを復号化するにはどうすればよいですか?

暗号化パスワードを使用して s3cmd を正しく構成し、構成テストに合格しました。誰かが尋ねる前にエラーが発生します：

cronを使用して、2時間ごとにs3でmongodbバックアップを取得してアップロードしています。

ここで、過去 7 日間のすべてのファイルを保持し、7 日後に s3 からすべてのファイルを削除したいが、1 つのバックアップを 1 日間保持したい。

S3cmdを使用しています。

どうやってやるの？

オブジェクトの形式で大量のデータを Amazon S3 に保存しています。

私のように、Amazon S3に200 GB以上の写真（約100000以上のオブジェクト）が保存されているユーザーがいます。各オブジェクトは写真で、各オブジェクトのサイズは平均 5MB です。

ここで、データをダウンロードするためのリンクをユーザーに提供したいと考えています。

現在、私がしていること。

1. S3cmdを使用して、すべてのオブジェクトをS3からEC2にコピーします。
2. 次に、ZIP コマンドまたはTAR コマンドを使用して、ZIP を作成します。
3. Zip プロセスが完了したら、zip ファイルを S3 に戻します。
4. 次に、電子メールとしてユーザーに送信する署名付きリンクを作成します。

しかし、このプロセスには長い時間がかかり、ほとんどの場合、メモリ不足の問題やストレージの問題が発生し、このプロセスは非常に遅くなります。

私は知る必要がある

1. この処理時間を短縮する方法はありますか?
2. ファイルの高速zipを作成してユーザーに送信できるサードパーティのサービス/ツールはありますか?
3. またはその他のサードパーティのソリューション、私はそれを支払う準備ができています.

サーバー側の暗号化を使用して、Amazon S3 でいくつかのファイルを暗号化しようとしています。このリンクによると

http://s3tools.org/kb/item9.htm

このフラグのみを追加する必要があります

put または sync コマンドで実行しようとしていますが、実行すると「s3cmd: error: no such option: --server-side-encryption」というメッセージが表示されます。

このコマンドを実行してサーバー側の暗号化を使用するにはどうすればよいですか?

ubuntu 14.04サーバー64ビットを使用しています。

私はHiveでいくつかの処理を行っています。通常、このプロセスの結果は (S3 上の) フォルダーであり、複数のファイル (順番にランダムな文字と数字で名前が付けられています) が含まれています。

ただし、レポートの場合は、フォルダー内の最初と最後のファイルのみが必要です。ファイル数が数百に上る場合は、Web GUI から簡単にダウンロードできます。

しかし、数千の場合、下にスクロールするのは面倒です。言うまでもなく、Amazon はすべてを表示するのではなく、必要に応じてオンザフライで読み込みます。

試してみs3cmd getましたが、それに関する私の経験はせいぜい基本的なものです。フォルダ全体の内容をダウンロードすることになります。

私の知る限り、追加のコマンドをパイプで渡すことができますが、その方法はわかりません。

では、特定のフォルダ内の最後のファイルs3cmd getのみをダウンロードするにはどうすればよいですか?

ありがとう。

データベースを Amazon S3 にバックアップするために s3cmd を使用していますが、特定のフォルダーをバックアップしてアーカイブしたいと考えています。

データベースを S3 に正常にバックアップするこのスクリプトのこの部分があります。

別のセクションを追加して特定のフォルダーをアーカイブし、S3 にアップロードしてから、ローカル アーカイブを削除するにはどうすればよいですか?