問題タブ [s3cmd]

私は自分のウェブサイトの s3 画像をアップロードしましたが、有効期限を再帰的に更新したいと考えています。

私は次のコマンドを使用しました：

しかし、aws コンソールでイメージを表示すると、Matadata が指定されたキャッシュ コントロールに設定されていることが示されますが、有効期限はまだ [なし] に設定されています。

私も試しました：

繰り返しますが、これにより Expires のメタデータが配置されますが、画像にはまだ有効期限がありません。

s3cmd ツールを使用して有効期限が切れるようにすべてのファイルを変更するにはどうすればよいですか?

アドバイスをいただければ幸いです。

s3cmd を使用して、5000 を超えるファイルをあるバケットから別のバケット内のフォルダーにコピーしています。

このような：

しかし、これは私にこれを続けます：

情報: s3://dataloader.bucket/1111_stuff/ のリモート ファイルのリストを取得しています...
情報: 概要: 5186 個のリモート ファイルを移動する
エラー: タイムアウトしました

それはかなり長い間立ち往生してRetrieving list of remote filesおり、私が得たのはエラーだけでした。

これは AWS 側の問題ですか、それとも私が修正できるものですか? これを行う他の方法はありますか？

ありがとう。

私たちの目標は、約 500 万個の小さなファイルを AWS から CentOS サーバーにダウンロードすることです。s3cmd ユーティリティを見つけましたが、ほとんどすべての点で非常に優れていました。ダウンロードを除いて、それは1つのスレッドしかサポートしていないため:(これは60日間のダウンロードに続きますが、これはただクレイジーです!

s3cmd の新しいバージョンや、マルチスレッド モードですべてのファイルをダウンロードする別の方法はありますか?

S3 バケットでバージョニングを有効にしていますが、 s3cmdなどのコマンドライン S3 クライアントを使用して、削除したファイルを復元するにはどうすればよいですか? 異なるバージョンのファイルを参照するにはどうすればよいですか? これまでのところ、これを実現するためにフリーウェアの Cloudberry Windows Clientに回帰しました。Boto Python ライブラリも使用できることはわかっていますが、一般的なコマンド ライン ツールを使用したいと思います。

次のような典型的なCREATE TABLEステートメントがあります。

/20140811/ は、内部にギガバイトのデータがあるディレクトリです。

物をロードすることは問題ではありません。ただし、それに対して何かをクエリすると、Hive が停止し、多くのMapRedエラーが表示されます。

代わりに、 /20140811/ のデータの一部だけを読み込む方法がないかお尋ねしたいと思います。フォルダー内からいくつかのファイルを選択して別のフォルダーにダンプし、それを使用できることはわかっていますが、特にこの /20140811/ ディレクトリが 20 個ほどある場合は面倒です。

このようなものはありますか：

ハイブ以外の回答も受け付けています。s3cmd/20140811/ 内の特定の量のデータを /20140811_halved/ などにダンプする方法がおそらくあるでしょう。

ありがとう。

ポリシーが設定された s3 バケットがあります

のcors構成

私と認証されたユーザーの完全な権限。

以前にこれらのアクセス許可 (通常はポリシーの getObject のみ) を使用して、Web サイトの静的アセットを提供するためのバケットをセットアップしました。GUI を使用してこれらのバケットにファイルをアップロードすると、すべてが正常に機能し、右クリックして開くことで画像を表示できます。

ただし、s3cmd と私のシークレット キーとアクセス キーを s3cmd 同期で使用すると、バケット内のファイルに権限が付与されません。それらを表示したり、開いたりすることはできません。

私は何が欠けていますか？