あなたの探求はウェブアプリケーションの探求とあまり変わらないと思います。もちろん、スタックは異なりますが、それでも、原則は同じです。
誰かがあなたの質問にコメントしたように:Elastic Map Reduceは、作業を簡単に並列化するために探しているものかもしれません。それが制限されすぎている場合は、Clouderaを調べることができます。EC2もサポートするすぐに使えるHadoopディストリビューション。
map-reduceが好みに合わない場合は、独自のインスタンスを設定する必要があります。大まかに言えば、キーポイントは次のとおりです。
- EC2インスタンスを開始する方法を見つけたいと考えています。
- それらをブートストラップして構成する方法を見つけたいと考えています。
- クラスター/ネットワーク?
EC2インスタンスを開始しています
自動スケーリングやカスタムインターフェースなどが必要ない場合、AWSコンソールは非常に優れた機能を果たします。プロジェクトに適したAMI(Amazon Machine Image)を選択する必要があります。私はおそらく公式のAMIかUbuntuベースのものを調べます(私が正しく覚えていれば、UbuntuはEC2で最も使用されているLinuxです)。
しかし、それはあなたとあなたの好み次第です。(そして私はあなたのプロジェクトについて十分に知りません。)
自分に合ったセットアップを見つけたら、自分の作業を複製する最も簡単な方法は、独自のAMIをセットアップし、それを使用してインスタンスを起動することです。
ブートストラップ
ブートストラップは、EC2が呼び出すものを使用できますuser-script
。シェルスクリプトをインスタンスに渡すことができ、スタックをセットアップするための呼び出しなどを実行します。この場合などに何が必要かわかりません。したがって、コメントしたり、回答を拡張したりする場合は、ここで詳細を説明します。
クラスター/ネットワーキング
コードの機能や動作などがわからないため、これは大げさな推測です。必要がない場合は、最初に単一のインスタンスを使用してスケールアウトすることをお勧めします。EC2を使用すると、多くのコアとRAMを簡単にプロビジョニングできます。作業にさらにRAMまたはCPUが必要かどうかに応じて、高CPUおよび高メモリのインスタンスタイプを調べます。
から始めることができt1.micro
ます。これは現在無料で入手でき、そこから行くことができます。
これが役立つかどうか教えてください!