問題タブ [amazon-s3]

ウェブサイトに埋め込まれたFlashウィジェットまたはその他の方法でAmazonS3に保存されているMP3をストリーミングする方法はありますか？

すべてのファイルをAmazonマシンインスタンスにバンドルしてアップロードできます。しかし、定期的にソースコードをアップロードしてアプリをテストし、常に最新バージョンを稼働させるためのより効率的な方法があるかどうかを確認したいと思います。ありがとう！

ユーザーがアップロードした画像を A​​mazon S3 に保存する Rails 2.2.2 アプリを継承しました。attachment_fu ベースのPhotoモデルは、S3 と MiniMagick から画像を取得して回転を実行するrotateメソッドを提供します。open-uri

このrotateメソッドには、MiniMagick で使用する画像を取得する次の行が含まれています。

self.public_filenameのようなものを返します

画像を取得して回転させることは、運用中および開発中の実行中のアプリケーションで問題なく機能します。ただし、単体テストは失敗します

その理由は、単体テストのコンテキストでモデル メソッドが呼び出されると、画像データを含むオブジェクトopen(self.public_filename)が返されるためです。このオブジェクトのメソッドが戻っStringIOて爆発します。pathnilMiniMagick::Image.from_file

このまったく同じモデル メソッドが から呼び出されると、 は、eg という名前のファイルに関連付けられたインスタンスPhotosControllerをopen(self.public_filename)返します。このファイルには画像データが含まれています。FileIO/tmp/open-uri7378-0

テスト環境と開発環境の違いが原因かと思い、開発環境でコンソールを立ち上げてみました。しかし、単体テストと同様に、ではなくopen('http://...')を返しました。StringIOFileIO

open-uri と関連するすべてのアプリケーション固有のコードをたどりましたが、違いの理由は見つかりません。

AWS アカウントから読み取り/書き込みアクセス権を持つバケットがある場合、所有者の CanonicalUser ID を取得する方法はありますか?

あなたが所有者でない限り、ACL ポリシーを読み取ることは不可能のようです : /.

これがよくある質問であることは知っていますが、それに対する良い答えはないようです。

ゴブ（いくつあるかわかりません）のファイルが入ったバケットがあります。それらはすべて1個2k以内です。

1) これらのファイルをリストせずにいくつ持っているかを知るにはどうすればよいですか? 私は s3cmd.rb、aws/s3、および jets3t のものを使用しましたが、最初の 1000 レコードをカウントするコマンドを見つけることができます (実際にそれらに対して GETS を実行します)。

私は jets3t のアプレットも使用してきましたが、これは非常に使いやすいので、すべてのオブジェクトを一覧表示できないため、ヒープ スペースが不足します。（おそらく、それらすべてに対してGETSを実行し、それらをメモリに保持していることが原因です）

2) バケットを削除するにはどうすればよいですか? 私が見た中で最も良いのは、並列化された削除ループであり、同じファイルを削除しようとすることがあるという問題があります。これは、私が遭遇したすべての「deleteall」コマンドが行うことです。

何百万もの画像/テキストをホストしていると自慢しているあなたたちは何をしますか?? 削除したい場合はどうなりますか？

3) 最後に、これに対する別の回答はありますか? これらのファイルはすべて txt/xml ファイルであるため、S3 がそのような懸念事項であるかどうかさえわかりません。おそらく、これをある種のドキュメント データベースに移動する必要がありますか??

要するに、Amazon S3 API には、COUNT と DEL_BUCKET という 2 つの非常に重要な操作が欠けているということです。(実際には、バケットを削除するコマンドがありますが、バケットが空の場合にのみ機能します) 誰かがこれらの 2 つの操作を実行するのに適した方法を思いついた場合、私は喜んで多くの報奨金を放棄します。

アップデート

いくつかの質問に答えるだけです。私がこれを尋ねる理由は、私が過去 1 年ほどの間、数十万、または数百万の 2k の txt および xml ドキュメントを保存してきたからです。前回、数か月前にバケットを削除したかったのですが、削除する前にバケットを空にする必要があるため、文字通り数日かかりました。これは、API サポートなしで再びこれを行う必要があるのではないかと恐れているお尻の痛みでした。

アップデート

これは家を揺るがします！

http://github.com/SFEley/s3nuke/

私は数分で 1 ～ 2,000 個のファイルに相当する数ギグを RM しました。

ファイルを S3 にアップロードし、アップロードされたファイルに対してアクションを実行するために EC2 インスタンスを呼び出すために作成した PHP コードを使用して、さまざまな結果を得ています。

これが私が物事を行う順序です -

1）S3クラスを使用してファイルを配置します

2) $result をチェック

3) cURL を使用して EC2 インスタンスを呼び出し、S3 でファイルに対してアクションを実行する

私はこれをビデオファイルで使用しています.小さなビデオファイルをアップロードすると問題なく動作しますが(例: 3MB)、大きなビデオ(例: 80MB)の場合、コードはステップ1を通過していないようです.ファイルはs3に移動されますが、私の推測では.しばらくすると、PHP は $result == 1 かどうかを確認するのを待つことをあきらめ、残りのコードを実行しません。

このようなものを処理する最良の方法は何ですか? ファイルが S3 にアップロードされたことを検出し、アップロードされたときにコードを実行するにはどうすればよいですか?

ファイルを S3 に直接アップロードする方法と、サーバーに既にあるファイルをアップロードする方法を見てきました。S3 に送信する前にファイルの名前を変更する必要がありますが、できればローカルに保存してからアップロードしたくありません。バッファなどに入れる方法はありますか？どうも。

サーバーを使用して Amazon S3 にファイルをアップロードすることはできますか (つまり、私のサーバーはアップロード プロセスで使用しないでください)?

また、URL がサーバーにアップロードされているように見せたいのですが、これは可能ですか?

S3にアップロードされたファイルにアクセス許可を設定できますか？

または、誰かがファイルのギルド/ URLを知っている場合、それらは公にアクセスできますか？

はいの場合、どのような権限を設定できますか？

次の PHP コードを再作成するユーザー定義関数を使用して、mysql データベースから結果を取得する必要があります。

UDF は十分に機能していますか? AWS 秘密鍵を UDF に格納する/これを変数として渡すことのセキュリティへの影響は何ですか?

理想的には、これができるようになりたいです-

しかし、myPHPfunctionToSignFilename は MYSQL-UDF-FUNCTION である必要があると思います...

助言がありますか？

ありがとう

スティーブン