問題タブ [s3cmd]

s3cmdを使用してS3ディレクトリをローカルマシンにダウンロードしようとしています。私は次のコマンドを使用しています：

しかし、中断後にダウンロードを再開すると、s3cmdは以前にダウンロードした既存のローカルファイルをスキップせず、それらを書き換えます。コマンドの何が問題になっていますか？

Amazon S3でプログラムでゼロバイトのファイルを見つける方法はありますか？

バケットの合計サイズが100Gを超え
ているため、サーバーに同期してから、

Amazon S3 に「.bin.gz」というサフィックスを持つファイルがあります。Web ブラウザーで gzip 圧縮された HTML ファイルとして処理するようにします。そのため、Amazon S3 Web コンソール (https://console.aws.amazon.com/s3/home) に移動し、ファイルに移動して選択することができます。そこで、[プロパティ] の下にある [メタデータ] タブに移動して、次のディレクティブを追加できます。

これは期待どおりに機能します。それは簡単な部分です。

今、私は、S3 に PUT された時点で、数百 (あるいは数百万) のファイルに対して同じことをしたいと考えています。

オプションでs3cmd を使用しようとしました--add-headerが、Content-Type を設定しようとすると署名エラーが発生します。さらに、これを行うと、PUT 操作時に送信されるヘッダーにのみ影響し、ドキュメントと共に保存されるメタデータには影響しないと確信しています。

だから、理想的にはs3cmdでこれを行う方法を探しています。それが不可能な場合は、s3 上のファイルにメタデータを適用できる Python ライブラリを提案していただければ幸いです。

コンソールで手動で設定せずにこれを行う方法が必要です。

S3 から画像を取得し、ec2 で処理して、S3 の別のフォルダーに保存する必要があります。プロセス中にファイルをec2に保存したくありません。

「s3cmd get s3://bucket/image」の結果を var にパイプすることはできますか? 標準出力に出力されないようですか？

s3cmd を使用してファイルを Amazon s3 にアップロードします。スーパーアプリです。唯一の問題は、Web インターフェイスにログインして、ファイルのアクセス許可を「承認済みユーザー」に変更し、読み取りを許可する必要があることです。

端末を介して許可を変更し、許可ユーザーにする方法はありますか?

何か案は？

stdoutとstderrをs3cmdからリダイレクトする奇妙な動作があります。例えば：

この出力は（私が間違っていない場合）一部stdoutと一部stderrです。これは次のように表示されます。

事実上、stderrはリダイレクトされますが、stdoutとstderrの両方が必要です。最初にstdoutだけを試してみましょう：

コマンドの後に書かれていないので、stdoutが実際にリダイレクト（または何か）していることは理解していますが、ログファイルに記録されません。どういうわけか、ttyに接続されているかどうかを検出し、最初のケースでのみこの種のデータを出力すると思います。

同様に、両方のストリームをリダイレクトしようとすると、stderrは取得されますが、必要なstdout出力は取得されません。

実際、私がする必要があるのは、これをPHPから呼び出して、完全な出力を取得することです。コマンドを実行してstdoutを取得する方法しか見つけられなかったので、次のように実行しています。

そして、ここでは、どちらのストリームからも出力を取得していません。s3cmdがttyに接続されていないことを検出したため、stdoutを失っていると思いますが、stderrは、なぜキャッチされないのかまだわかりません。

popen（）とexec（）を試してみると、同じ結果が得られます。

出力全体、または少なくともstdoutが必要です（ただし、進行状況情報はどういうわけか取得されると思います）。何か案が？

前もって感謝します！！

AWS EC2 に移行するにあたり、正当な理由でインスタンスのユーザー権限を制限したいと考えています。インスタンスが行う必要があることの 1 つは、S3 上のファイルにアクセスし、そこにファイルを書き込むことです。ただし、そのユーザーにすべての権限を付与しないと、これを達成する方法が見つかりません。

s3cmd を使用すると、ポリシーのアクセス許可を与えた s3 バケットで "ls" と "du" を呼び出すことができますが、これらのフォルダーのいずれかと PUT/同期しようとすると、常に 403 エラーで失敗します。root 資格情報を使用すると、転送は正しく行われます。

したがって、上記のバケットのすべてのアクセス許可をユーザーに付与すると、PUT できない理由がわかりませんが、arn:aws:s3:::* (すべてのバケット) を付与すると、PUT が可能になります。私には意味がありません。

これまでにこれに対処したことのある人はいますか？

数千のフォルダーとそれらのフォルダー内の多くの txt ファイルを含む S3 バケットがあります。

バケット内のすべての txt ファイルを一覧表示して、それらが削除可能かどうかを確認したいと思います。それらが存在する場合は、それらを削除します。

s3cmdでこれを行う方法はありますか?

こんにちは: EMR クラスターで、s3 経由で s3 distcp jar ファイルを取得しようとしています:

ただし、「get」コマンドは機能しません。

このファイルは他の s3 リージョンにも存在するため、試してみました。

しかし、ecommand はまだ失敗します。しかし、残念ながら、この .jar ファイルは明らかに存在します。「s3cmd ls」を実行すると、リストに表示されます。詳細については、以下を参照してください (eu-west リージョンの例):

上記は、実際にファイルが存在することを確認しているようです。

*このファイルに対して「get」コマンドを有効にするにはどうすればよいですか? *