8

EC2 / S3にデータクランチアプリケーションをデプロイすることについて多くのことが書かれていますが、そのようなアプリケーションを開発するための典型的なワークフローは何ですか？

最初に1TBの時系列データがあり、これをS3に保存できたとします。アプリケーションを作成し、インタラクティブなデータ分析を行って機械学習モデルを構築し、それらをテストするための大規模なプログラムを作成するにはどうすればよいですか？言い換えれば、そのような状況で開発環境をセットアップするにはどうすればよいのでしょうか。EC2インスタンスを起動し、そのインスタンスでソフトウェアを開発して変更を保存し、作業を行うたびにシャットダウンしますか？

通常、私はRまたはPylabを起動し、ローカルドライブからデータを読み取り、分析を行います。次に、その分析に基づいてアプリケーションを作成し、そのデータを解放します。

EC2では、それができるかどうかわかりません。人々は分析のためにデータをローカルに保持し、実行する大規模なシミュレーションジョブがある場合にのみEC2を使用しますか？

私は他の人々が何をしているのか、特にEC2/S3に基づいたインフラストラクチャ全体を持っている新興企業を知りたいと思っています。

4

2 に答える 2

2

AMIで常に必要になることがわかっているすべてのプログラムを使用して、ベースラインのカスタムAMIを作成します。

私たちが開発する（そして絶えず更新する）ソフトウェアは外部ストレージに保存されます（私たちはMavenリポジトリーを使用しますが、ご使用の環境でうまく機能するものなら何でも使用できます。

次に、必要なものをすべて使用してカスタムAMIを起動し、Mavenから最新バージョンのソフトウェアをデプロイします。これで準備完了です。

したがって、ワークフローは次のとおりです。

設定

常に必要なものを使用してカスタムAMIを作成します

進行中

ソフトウェアをローカルで開発するバイナリを外部ストレージ（この場合はMavenリポジトリ）にデプロイする必要に応じてカスタムAMIの複数のインスタンスを起動する外部ストレージから各インスタンスにバイナリをコピーする各インスタンスで実行する

于 2010-02-19T17:25:49.380 に答える
0

I-slash-私たちは、あなたがやろうとしているようなことをした経験があります. エリック J. が言ったことは、基本的にそれを要約しています。繰り返しになりますが、

  1. 常に稼働しているサーバーにコード リポジトリをセットアップします。転覆を使用します。このサーバーは ec2 マシンである必要はなく、ec2 でもかまいません。あなたの選択。

  2. 次の方法でカスタム AMI を構築します。(a) EC2 マシンでコード ベースをチェックアウトする。(b) このマシンにすべてのコードの依存関係をインストールします。(c) s3 に画像を保存します。

  3. 次回は、AMI を 1 に保存して起動します。実験を行い、必要に応じてコードを変更し、Subversion で変更をチェックして、戻ってきたときにそこに保存されるようにします。

  4. 別の方法は、EBS ボリュームを使用することです。EC2 インスタンスを開始するたびに、EBS ボリュームをそれにアタッチします。このボリュームには、クラウド上に保持するために必要なコードやその他すべてを保持できます。

于 2010-02-28T01:43:41.347 に答える