問題タブ [s3cmd]

s3cmd ls s3:// と等しい aws phpsdk の機能/テクニック

私はファイルをs3にアップロードしました。その構造は次のとおりです。

s3cmdで実行できるすべてのファイル名なしでフォルダーを最初にリストする必要がありますが、phpで実行したい

Amazon S3 バケット内のいくつかのファイルの削除コマンドを送信する s3cmd のスクリプトが必要です。このメソッドが組み込まれていることは知っていますが、役に立ちません。理由を見てみましょう。

現時点では、データベースを毎真夜中にバックアップし、ウェブサイトのファイルを毎週金曜と火曜 (まだ真夜中) にバックアップするスクリプトがあります。

私が探しているスクリプトは、バケットにのみ保持するためにファイルを削除する必要があります。データベースとファイルの両方の月に 1 回のバックアップ (たとえば、毎月の 1 日)。そして、過去 7 日間のすべてのバックアップ (db は毎日、ファイルは火曜日と金曜日、つまり「デフォルト」の動作) を残します。

たとえば、2012 年 6 月 17 日の場合、状況は次のようになります。

その後、2012 年 7 月 2 日に、バケットには以下が含まれている必要があります。

スクリプトは、私が現在手動で行っていることを自動化します (私はすでに過去 1 か月に 1 つのバックアップしか持っていないため、7 日前から最後の月の 1 日のバックアップに戻るバックアップを削除する必要があります)。

複雑な質問で申し訳ありませんが、十分に明確であることを願っています。:D

Amazon S3にアップロードされた5GB未満のファイルには、ファイルのMD5ハッシュであるETagが含まれているため、ローカルファイルがS3に配置したものと同じであるかどうかを簡単に確認できます。

ただし、ファイルが5GBより大きい場合、AmazonはETagの計算方法を変えます。

たとえば、5,970,150,664バイトのファイルを380個に分けてマルチパートアップロードしました。これで、S3はETagが。であることを示します6bcf86bed8807b8e78f0fc6e0a53079d-380。私のローカルファイルのmd5ハッシュは702242d3703818ddefe6bf7da2bed757です。ダッシュの後の数字は、マルチパートアップロードのパーツの数だと思います。

また、新しいETag（ダッシュの前）はまだMD5ハッシュであると思われますが、マルチパートアップロードの途中で何らかのメタデータが含まれています。

Amazon S3と同じアルゴリズムを使用してETagを計算する方法を知っている人はいますか？

HTMLファイルのWebサイトツリーをs3に同期するシェルスクリプトを書いています。

拡張子のないファイルのメタデータを text/html に設定したいと思います。s3cmd -m を再帰的に使用することは可能ですか?

jgit を使用して s3 でリモートを作成しています。私が実行するjgit push s3 masterと、自分のawsユーザー（プッシュを行ったユーザー）だけが所有するファイルがs3に作成されます。

これらのファイルにも「認証済みユーザー」権限を持たせたいです。

私は次のことを試しました：

• ~/.jgit ファイルでの設定acl: authenticated-read(「パブリック」または「プライベート」のみがサポートされているため、エラーがスローされます。
• s3cmd:を介してプッシュした後に acl を変更しますs3cmd --add-header=x-amz-acl:authenticated-read setacl --acl-private s3://my.bucket/repo/*。これは、ファイルの ACL に影響を与えないようです (何も実行されていないようですが、エラーはありません)。

次のいずれかを行うにはどうすればよいですか。

1. s3にプッシュするときに「認証されたユーザー」のaclを設定するようにjgitを構成します（私はこれを好むでしょう）
2. s3cmd (または別の既存のコマンド ライン ツール) を使用して、既存のファイルの acl を「認証済みユーザー」に設定します。

2 つの個別の AWS アカウントを持つクライアントのためにいくつかの作業を行っています。S3 アカウントの 1 つのバケット内のすべてのファイルを、2 番目のアカウントの新しいバケットに移動する必要があります。

s3cmd では、次の形式を使用してこれが可能であると考えました。

ただし、これでは 1 つのアカウントのキーしか使用できず、2 つ目のアカウントのアカウントを指定することはできません。

ファイルをダウンロードして2番目のアカウントに再度アップロードせずにこれを行う方法はありますか?

私はこのようなコードを持っています：

私がこのように実行した場合、これは正常に機能しています：

そして、私がこのようにcrontabに追加したとき：

そして待った！ファイルmys3Logが作成されます。しかし、それには内容がありません！コマンド実行の結果（set -e ; set -xコードで使用したように）は、mys3Logそこでリダイレクトを行っているので、ファイルに入るはずです。

しかし、何かがうまくいかない。私はbashプログラミングとcronに非常に慣れていません。

どこで間違いを犯しているのですか？

前もって感謝します。

s3 のファイルを ec2 インスタンスにプッシュしようとしています。

私がそうするとき：

エラーは発生しません。logsしかし、ディレクトリを調べようとしたとき。出力をまったく見ることができませんでした。

どこで間違いを犯していますか？s3fsコマンドによって生成されたログ ファイルはありますか? 私がそれらを見ることができるように？

前もって感謝します。

AWSLinuxEC2からS3に移動しようとしている27GBのファイルがあります。「S3put」コマンドと「S3cmdput」コマンドの両方を試しました。どちらもテストファイルで動作します。どちらも大きなファイルでは機能しません。エラーは発生せず、コマンドはすぐに戻りますが、何も起こりません。

私はs3cmdルートとしてUbuntuで実行していますが、問題なく正常に動作します。しかし、私のcronが使用するユーザーであるwww-dataは失敗し、これを取得します。

/var/backups/archives/files/file_name_27-01-2013_01:00:27.tar.gz-> s3：//yolkmesh/london/archives/files/file_name_27-01-2013_01：00：27.tar.gz [ 1 of 69] 57344 of 73404 78％in 1s 31.58 kB / s失敗警告：アップロードに失敗しました：/london/archives/files/file_name_27-01-2013_01:00:27.tar.gz（[Errno 32]壊れたパイプ）警告：低速で再試行します（スロットル= 0.00）警告：3秒間待機しています...

これは、ますます長い待機期間で失敗し続けます。これが1人のユーザーで発生し、別のユーザーでは発生しないのはなぜですか。

修正がない場合、cronスクリプトからrootとして以下を実行できますか？

s3cmd最新です。