問題タブ [cloud-storage]

ビデオエンコーディングを行うアプリケーションを作成しました。エンコードはパイプライン化されたプロセスです。最初にビデオをフェッチし、次にffmpegを使用してエンコードし、次にビデオを複数の部分に分割します。

この過程で、1GBのビデオが数GBの中間データに膨れ上がります。このサービスは、（RabbitMQを介して）異なるプログラムがパイプラインの各部分を処理できるように作成されています。もちろん、プロセスをこのように実行する必要はないので、私の質問になります。

アプリを「ライブ」にするためのストレージ要件を検討しています。クラウドプロバイダーでは、ストレージのGBごとと転送のGBごとに支払います。ここまでは順調ですね。

この1GBのビデオBLOBをあるクラウドVMインスタンスから別のインスタンスに、またはVMから共通ストレージサービスに転送する場合、それは帯域幅にカウントされますか？（この回答は、ホストの利用規約によって変わると思います。）

1つのVMでプロセス全体を実行してから、その複数のインスタンスを起動する方が理にかなっていますか？1つのVMがパイプラインで単一のタスクのみを実行するのとは対照的に？コストの最適化の観点からこの質問をします（ストレージコストが最も低く、VMの起動にかかるコストが最も低くなります。エンコードはバッチで行われるため、リクエストをすばやくプッシュすることについてはあまり心配していません）。

このシナリオは、データベースなどに効率的に保存できない大量のバイナリデータがあるという点で少しユニークです。どちらも同様の質問を提起します。経験のある人にとって、DB VMがその結果をWebアプリに送り返すとき、その中間転送に対して課金されますか？

私も正しい質問をしていますか？ホスティングプロバイダーに電話して自分で価格設定について尋ねる以外に、読むべきガイドはありますか？

ストリーミング データに適したクラウド データ ストレージ API とは?

具体的には、1) 既知の終了がなく、継続的に追加され、2) いつでも読み取ることができる一定のデータ ストリーム。

分散アクセスの性質上、Amazon S3、Google Storage for Developers、Windows Azure Blob などの大きなクラウド ストレージ オプションは、ストリーミング データをサポートしていないようです。

現在の信念:

1) Amazon S3 では、オブジェクトへの追加操作は許可されません (置換のみ)。マルチパート アップロード API では、「ストリーミング」アップロードが可能ですが、完全に作成されたら「ファイナライズ」する必要があります。

2) Google Storage オブジェクトは不変であるため、同じことです。

3) Windows Azure ブログ ストレージにはブロック ストレージがありますが、Amazon S3 マルチパート アップロードと同様に、ブロックを「ファイナライズ」する必要があるため、無制限のストリームは使用できません。

何か案は？

Twitterなどのソーシャルネットワーキングサイトでプロフィール写真を見ると、次のような画像ファイルが保存されています。

または、20110912のようなパスのどこかに日付があります。私が考えることができる唯一の直接的な利点は、ボットがストレージ内のすべてのファイルを直線的に通過してダウンロードするのを防ぐことです。他のメリットがありませんか？それをランダム化するための最良の方法は何ですか？

私はAmazonS3を使用しているので、すべての静的コンテンツを提供する1つのサブドメインがあります。私の計画は、データベースに整数IDを格納し、URLとIDを連結して場所を形成することでした。

次のワークフローを提供するように構成できるクラウド ストレージ システムがあるかどうか、興味があります。

• 匿名ユーザーは、バケットと呼ばれる識別可能な場所にメッセージ/ファイルをアップロードできます。
• すべてのユーザーはすべてのメッセージ/ファイルへの読み取りアクセス権を持つ必要がありますが、匿名ユーザーはそれらを変更または削除する権限を持つべきではありません。
• バケットには、モデレーターがアップロードの承認または削除を認証するために使用する公開鍵が関連付けられています。
• 未承認のメッセージ/ファイルは、スペースを節約するためにシステムによって最終的に選別されます。

その答えは、「Tahoe-LAFS は、誰かが追加専用の変更可能なファイルを実装することを望んでいますが、まだ誰も実装していません」ではないかと思います。

私は画像をクラウドにアップロードしようとしていますが、これをテストできるようにしたいと思います。これは私がすでに試したことです。私は何をしているのか完全には理解していません。誰かが私に何をすべきか教えてくれたら、私は感謝します。それ。

これまでの主な方法とその方法のテストを含めました。

プログラム (REST API) でサード パーティ サービスにファイルを送信 (FTP) できるストレージ サービスを見つける必要があります。私は Amazon S3 を使用することを考えていましたが、ここで以前の同様の質問を見つけました: CloudFront を使用して S3 からサードパーティの FTP サーバーにファイルを送信していますが、どうやらそれはできません。

私が避けたいのは、ファイルをアプリ サーバーにダウンロードしてから、サード パーティのサーバーにアップロードすることです。コマンドをストレージ サーバーに送信して、サード パーティ サーバーに直接送信したいと考えています。

この機能を提供するストレージ サービスが見つからない場合、価格設定は私の 2 番目の優先事項です。

現在、box.net、sugarsync、または dropbox のいずれかと、Amazon S3 のいずれかを考えています。これらはすべて、使用できる REST API を提供するからです。

ご協力ありがとうございました！

画像ホスティングサービス（無料）に画像をアップロードしたい。ユーザーが自分の Web サイトのフォームを使用して画像をアップロードできるようにしたいのですが、画像ホスティングのアカウント (アルバム内) に直接アップロードしてください。ユーザーが最初にサーバーに画像をアップロードしてから、サーバー スクリプトを使用してこのファイルを画像ホスティング アカウントにアップロードすることは望ましくありません。

Imageshack の API と imgur API について読みました。しかし、私は彼らが直接アップロードを許可するとは思わない.

次のことを可能にする画像ホスティング サービスまたは API をご存知ですか。

• 画像を画像ホスティング アカウントに直接アップロードする (スクリプトを使用してアップロードするのではなく、私の Web サイトのユーザーによって)
• PHPで使いやすいAPI
• 後でアルバムから画像を取得できます

助けてください

これはすべてのクラウドストレージにいくらか当てはまりますが、具体的には次のように考えています。

ルート開発フォルダとしてGoogleドライブを使用することは実用的ですか？

たとえば、次のような設定では、次のようになります。

ローカルコピーが必要なのか、それともこのタイプのサービスは「ワークスペース」として使用するのに十分安定しているのでしょうか。

私の懸念は、IDEを使用している場合、または一度に多くのことを実行している場合、ファイルを操作しているときに顕著な遅延または帯域幅の問題が発生するかどうかです。

これが実用的でない場合、クラウドストレージが非常に広く使用されている現在、このタイプのインフラストラクチャの「ベストプラクティス」はありますか？

私はプログラマーの観点からの答えに興味があることに注意してください

こんにちは、まともな API (C#) を持ち、ある種のサブスクリプション サービスを備えたクラウド ストレージ (Dropbox、SkyDrive、Google Drive など) を探しています。新しいファイルが追加されたときに通知されるので、私はそれを拾い上げてそれを扱うことができます。これは存在しますか、それとも x 分ごとにクラウド ストレージをポーリングする必要がありますか。

アセットをクラウドに保存したいのですが。Zend_Cloud_Storageが適切なライブラリかもしれないと思いましたか？今のところ、それらはZend_Cloud_StorageService_Adapter_Filesystemを使用してローカルに保存されます。これまでのところ、アップロードは機能します。

Zend_Cloud_StorageService_Adapter_Filesystemからブラウザにファイルを送信する正しい方法は何ですか？これは、PHPを介してストリーミングすることによってのみ可能だと思いますか？はいの場合、すべてのファイルヘッダーで機能させるのに問題があるため、コード例があります。

S3を使用して、リダイレクトを作成するか、ファイルをs3バケットに直接リンクしますか？

私はクラウドストレージにかなり慣れていないので、あなたの助けに本当に感謝しています。

よろしく、マヌエル