問題タブ [amazon-ebs]

他のユーザーが閲覧できるように、ユーザーが画像をアップロードする必要がある Web アプリケーションを近日中に立ち上げる予定です。Amazon S3 を使用して、スケーリングして安価に画像を保存したいと考えています。ユーザーはフォームを使用してファイルをアップロードします。ファイルは php で処理され、Web サーバーに接続されている S3 マウントに保存されます。

最終的に何万、何十万もの画像がアップロードされることを期待しています。

私の最初の質問は、S3 バケット マウントがそのようなアプリケーションに対して十分に堅牢で高速かどうか、または Amazon EBS を使用したほうがよいかどうかです。EC2 インスタンスを使用するのではなく、専用のボックスが必要ですが。

また、私はこの時点で S3 に慣れていませんが、ファイルをアップロードするとき、それらをディレクトリのカスケードではなく単一のバケットに入れるのが適切ですか? とにかく、各「バケット」は仮想であるため、問題ないようです。

EC2でWebサイトを開発していて、元の/opt/lamppフォルダーにランプサーバーがあります。事は私がそこにユーザーのプロフィール画像を含むウェブサイトに関連するすべての私の画像を保存するということです（/opt/lampp/htdocs）。これが最も効率的な方法だとは思いませんか？MySQLサーバーの画像へのリンクがあります。

私は実際にAmazonEBSとAmazonS3が何であるかを知りませんが、どうすればそれを利用できますか？

1ギガのEBSボリュームをEC2インスタンスにマウントし、ローカルハードドライブから（RDS接続を介して）600MBのバイナリデータをコピーしています。コピープロセスウィンドウに残り10時間が表示されます。高速接続（100 + Mbps）がありますが

データ量に関係なく、データ転送速度は1分/ MB（つまり16Kbs /秒）
です。ワークステーションの前でMoby Dickを読むか、休みを取るかをためらっています。

この転送速度を高速化するための合理的なオプションはありますか？
（理想的には最低512 Kbps /秒）

EC2インスタンスへの/からのアップロード/ダウンロード時間を短縮するためのあらゆるソリューションに非常にオープンです。

前もって感謝します。

編集：
[Amazon Export / Import Service][1]に出くわしました。「AWSImport / Exportは、AWSクラウドとあなたが私たちに郵送するポータブルストレージデバイス間で大量のデータを転送することを加速します
」ストレージデバイスをAmazonに「実質的に」出荷することを意味します。
これが石器時代だとは言わないでください、これは真新しいテクノロジーです、おい！:-)

EDIT2：
これは素晴らしく聞こえました：[Aspera for AWs] [2]しかし、残念ながらあまりにも高価です。
大きなニーズと大きな現金でフォーチュン500に合わせて調整されています。

パブリック EBS-backed AMI から Amazon インスタンスを作成しました。

私はそれをインストールし、変更を加えました。

ここで、この EBS ボリュームに変更を加えて、それを起動可能な AMI にします。どうすればいいですか？

Amazon Web コンソールから、任意のスナップショットまたは EBS ボリュームを取得してそこから起動するオプションはありません..特別な「AMI」ボリュームでなければなりません。EBS ボリュームを Bless して AMI にする方法を教えてください。

メールディレクトリの非常に大きなコレクションに EBS を使用することを検討しています。多数の小さなファイルが多数のディレクトリに分散しています。EBS ストレージを複数の小さなコンテナーにシャーディングすると、1 つの大きな EBS ボリュームよりも読み取り/書き込みのパフォーマンスが向上しますか?

EC2インスタンス（別のEBSボリュームから起動する）に接続されたEBSボリューム（例/dev/sdf）があり、ボリュームを（を介してmount /dev/sdf /data）マウントしました。インスタンスを停止して再開すると、ボリュームはまだ接続されていますが、マウントされていないため、手動で再度マウントする必要があります。

インスタンスの起動時にボリュームを/dev/sdf自動的にマウントする方法はありますか？/data

かなり大きな HDF5 ファイルをオンラインで配置しようと考えており、Amazon S3 や EBS を保存場所として検討しており、バックエンド処理に EC2 インスタンスを 1 つまたは 2 つ活用する可能性があります。それがどのようにできるか、または以前に行われたかについての実用的なアイデアと、可能であれば実際の例へのリンクを探しています。誰かが他の組み込みデータストアのフラットファイルにアクセスするのと同じ方法で実行できると思いますが、実用的な洞察が得られる場合は車輪の再発明を避けたいと思います.

MYSQLがバックアップされていない可能性のある本番サーバーがあります。問題のインスタンスには、ファイルを永続的に保存しているEBSでバックアップされたルートデバイス（/ dev / sda1）があります。MYSQLデータとバイナリログファイルが自然に永続的に保存されているかどうかはわかりません。

ルートにマウントされている場合はそうする必要がありますか？そう思います。

代わりに、別のボリュームを接続してマウントしてから、MYSQLサーバーを新しい場所に向ける必要がありますか？

私のコマンドは次のようになります（さらに、スナップショットの作成中にMYSQLテーブルをロックします）

私はシステム管理者の専門家ではないので、既存のデータベースを台無しにしたくありません。ここにリスクはありますか？ここで追加のデバイスを気にする必要がありますか、それとも組み込みのルートデバイスをそのまま使用する必要がありますか？

マージ係数 2 の 1,000 万を超えるドキュメントで apache-solr を使用します。これは、ebs ボリュームが接続された amazon ec2 (amazon linux) でホストされます。インデックスは ebs に存在します。マージ中に io 制限に達し、問題が発生します。プロセス レベルまたは特定のディスク レベルで iops を制限する方法はありますか? または、solrのマージを遅くすることはできますか? ありがとう

私が働いているスタートアップはウェブサイトを構築しており、AWS を使用してサイトとそれに付随する mysql データベースを実行およびホストしたいと考えています。どうやら AWS インスタンスを終了すると、そこに保存されているデータはすべて失われるため、データベースは EBS システムに保持されます。しかし、私が理解できないのは、これら 2 つの異なるプラットフォームで実行されているものをどのように接続するかということです。データベースの場所を Web サーバーに伝えるにはどうすればよいですか?

これが本当に初心者の質問である場合は申し訳ありません。このクラウド サービス全体がどのように機能するかをまだ把握しようとしています。