s3cmd 1.1.0betaを使用して、5GBを超えるファイルをAmazonS3にアップロードしています。これは、1.1.0より古いs3cmdは5 GB（Amazonシングルパートアップロード制限）を超えるファイルをアップロードできず、最新のベータバージョンはマルチパートアップロードを使用してこれらのファイルをS3にアップロードできるためです。

問題は次のとおりです。s3cmd1.1.0を介してアップロードされた5GBを超えるファイルに対して操作を実行できません。s3cmdによって設定されたEtagがAmazonが期待するEtagと一致しないため、これが発生している可能性があると思われます。

具体的な問題は次のとおりです（両方ともWebコンソールを介して）。

1. これらのファイルをあるバケットから別のバケットにコピーしようとすると、Amazon S3は次のように文句を言います。「次のオブジェクトは、次のエラーのためにコピーされませんでした。」
2. これらのファイルのプロパティを変更しようとすると、S3は次のように文句を言います：「次のオブジェクトのエラーのため、追加のプロパティが有効化または無効化されませんでした：」

5 GBを超えるファイルのEtagを修正して、これらのファイルで操作を実行できるようにする方法はありますか？

私は今、いくつかのデータをS3にバックアップする方法を理解しようとしています。

rsnapshotを使用して実装されたローカルバックアップシステムがあり、それは完全に機能します。s3cmdを--syncオプションとともに使用して、rsyncを模倣してファイルを転送しようとしています。

私たちが抱えている問題は、シンボリックリンクがシンボリックリンクとして作成されていないことです。物理ファイルにそれらを解決し、代わりにそれをアップロードしているようです。なぜこれが起こるのかについて誰かが何か提案がありますか？

明らかな何かが欠けているのか、それともS3がこの種の操作に適していないのか疑問に思います。EC2インスタンスをセットアップしてEBSを接続することもできますが、S3を使用することをお勧めします。

s3cmdPHPスクリプトから使用したい。すべてがシェルから機能していますが、PHPスクリプトからは機能していません。

これは機能していません、そして私は私のs3cmdインストールへのフルパスを与えました

PHPスクリプトでは機能しませんが、コマンドでも同じように機能します。

shell_execを呼び出しているPHPファイルはwebrootにあります。

s3cmdがrootユーザーとして構成されていて、www-dataであるPHPから実行していることが問題である可能性があります。これが問題である場合、www-dataの構成ファイルを作成するにはどうすればよいですか。

私が間違っていることを助けてください。

ありがとう

編集 私はS3cmdを使用しています。cronスクリプトでコマンドを実行します。cronスクリプトはPHPスクリプトです。cronを実行しているユーザーはweb11であり、s3cmdはrootユーザーを使用して構成されます。

そのため、PHPスクリプトでshell_exec（）を使用してs3cmdを実行すると、失敗します。しかし、シェルで実行すると正常に動作します。

s3cmd ls

これは正常に機能します。私はrootユーザーを使用してログインしています。

runuserコマンドを使用して実行しようとしました

runuser -l root -c "s3cmd ls"

これは正常に機能し、バケットのリストを表示します。しかし、私が使用して実行すると

runuser -l root -c "s3cmd ls"

これは動作しません。s3cmdのフルパスを指定してみました

/ usr / bin / s3cmd ls

これはシェルでは機能しますが、私のPHPスクリプトでは機能しません。

phpスクリプトのパーミッション777を変更し、rootをそのユーザーの所有者にしました。しかし、それでも機能しません。

PHPスクリプトからs3cmdを実行するにはどうすればよいですか。？私はAmazonEc2インスタンスを使用しています。

現在、Amazon S3を使用して、サイト上のすべての静的コンテンツをホストしています。サイトには静的ファイルがたくさんあるので、ローカルホスト上のファイルをリモートファイルと同期する自動化された方法が必要です。私は現在、s3cmdの同期機能を使用してこれを行っています。これは素晴らしい動作をします。デプロイスクリプトを実行するたびに、変更されたファイルのみがアップロードされ、削除されたファイルもS3で削除されます。

RackspaceCloudFilesを試してみたいです。しかし、同じ機能を提供するものは見つからないようです。独自の同期ユーティリティを作成する以外に、Rackspace Cloud Filesでこれを実現する方法はありますか？コマンドラインインターフェイスが必要で、OSXで動作する必要があります。

アマゾンS3でいくつかの大きなバケットを同期しようとしています。

S3cmd sync --recursiveコマンドを実行すると、「killed」という応答が返されます。

誰かがこれが何を指しているのか知っていますか？S3で同期できるファイルの数に制限はありますか？

あなたの助けのためのThx

ubuntu 11.10 のマシンに s3cmd をインストールしました。s3 からデータをダウンロードしようとすると、このエラーが表示されます。また、持っているアクセス キーを使用して s3cmd を構成しました (.s3cfg ファイルはホーム フォルダーにあります)。

AWS 以外の VPS (約 1 TB のデータ) に、それぞれにいくつかのファイルを含む何万ものディレクトリがあります。それらをすべてS3に移動したい。

これらを 7 GB のチャンクに圧縮し、EC2 (8 GB Ubuntu) に移動 (wget など) し、解凍して S3 に s3cmd することができます。

また

s3cmd 同期ディレクトリを使用して VPS から S3 に直接移動しますか?

パフォーマンスと信頼性に最適な方法はどれですか?

ありがとう

S3に数GBのファイルがあり、それらすべてのメタデータを一括更新する必要があります。ファイルを転送するときにs3cmdがメタデータを更新できることを知っています。

s3cmd -m text/html --add-header='Content-Encoding: gzip' put [files] s3://...

ただし、ファイルをS3に再転送したくありません。s3cmdは、ファイルを転送せずにのみキーのメタデータを更新できますか？

私は現在、Amazon s3 にリソースをプッシュするビルド スクリプトを自動化しており、http://s3tools.org/s3cmd (およびhttps://github.com/s3tools/s3cmd ) を使用していますが、これは通常の / メイン コマンド ラインであることがわかりました。使用するツール。それほど複雑なことはなく、ほとんどのテストをオフィスの外で行っていましたが、そこに着くとすぐにすべてが崩壊し始め、なぜ私は頭がおかしくなりました.

次のような単純なコマンド (s3 に存在する 'mybucket' と、コマンドを実行しているディレクトリに存在する 'file.ext' の両方)、

どちらかで失敗していました

また

サイズが 5 GB を超えるファイルで s3 に問題があることは知っていますが、これらのファイルは 1 MB 未満であり、1 GB を超えることはありません。本当に奇妙なことは、別のプログラムhttp://www.bucketexplorer.com/が完全に機能し、同じネットワーク上でまったく同じ操作を行っていたことです。

さらに奇妙なのは、すべてをテストすることでした。ラップトップを携帯電話の 3G 接続にテザリングすると、すぐにすべてが再び完全に機能し、家に帰ってコマンドをもう一度テストすると、再び完全に機能しました。

Bucket Explorer ではなく s3cmd を使用して、作業ネットワークでこのエラーを引き起こしている原因について何か考えはありますか?

以下のコードは、ユーザー データを使用して新しい AWS EC2 インスタンスを作成するために作成されるシェル スクリプト ファイルです。

このコードでは、新しいインスタンスを作成して cd /home を実行し、pravin という名前のディレクトリを作成します。

しかし、その後、s3 からファイルをダウンロードすることも、S3 にアップロードすることもありません。

そのコード (s3cmd get および put コード) の何が問題になっていますか。

これに使用される AMI は、AWS EC2 コマンドライン API と s3cmd で事前設定されています。