3

回帰分析にLIBSVMを使用しています。チャンピオンのように機能します。しかし、モデルのパラメーターを最適化するための3パラメーターグリッド検索では、2.66 GHz Intelボックスの4つのコアすべてが最大になり、1つのモデルを生成するにはまだ数時間待つ必要があります。

これはAmazonEC2の仕事のようです。

Web関連のタスクにEC2を使用するためのチュートリアルや紹介資料をたくさん見てきました。

しかし、EC2で複数のインスタンスを実行したい小さな計算集約型のカスタムANSI-Cプログラムがある場合はどうでしょうか?誰かがそれを行う方法(または検索する流行語でさえ)についてのポインタを提供できますか?

4

1 に答える 1

2

あなたの探求はウェブアプリケーションの探求とあまり変わらないと思います。もちろん、スタックは異なりますが、それでも、原則は同じです。

誰かがあなたの質問にコメントしたように:Elastic Map Reduceは、作業を簡単に並列化するために探しているものかもしれません。それが制限されすぎている場合は、Clouderaを調べることができます。EC2もサポートするすぐに使えるHadoopディストリビューション。

map-reduceが好みに合わない場合は、独自のインスタンスを設定する必要があります。大まかに言えば、キーポイントは次のとおりです。

  1. EC2インスタンスを開始する方法を見つけたいと考えています。
  2. それらをブートストラップして構成する方法を見つけたいと考えています。
  3. クラスター/ネットワーク?

EC2インスタンスを開始しています

自動スケーリングやカスタムインターフェースなどが必要ない場合、AWSコンソールは非常に優れた機能を果たします。プロジェクトに適したAMI(Amazon Machine Image)を選択する必要があります。私はおそらく公式のAMIかUbuntuベースのものを調べます(私が正しく覚えていれば、UbuntuはEC2で最も使用されているLinuxです)。

しかし、それはあなたとあなたの好み次第です。(そして私はあなたのプロジェクトについて十分に知りません。)

自分に合ったセットアップを見つけたら、自分の作業を複製する最も簡単な方法は、独自のAMIをセットアップし、それを使用してインスタンスを起動することです。

ブートストラップ

ブートストラップは、EC2が呼び出すものを使用できますuser-script。シェルスクリプトをインスタンスに渡すことができ、スタックをセットアップするための呼び出しなどを実行します。この場合などに何が必要かわかりません。したがって、コメントしたり、回答を拡張したりする場合は、ここで詳細を説明します。

クラスター/ネットワーキング

コードの機能や動作などがわからないため、これは大げさな推測です。必要がない場合は、最初に単一のインスタンスを使用してスケールアウトすることをお勧めします。EC2を使用すると、多くのコアとRAMを簡単にプロビジョニングできます。作業にさらにRAMまたはCPUが必要かどうかに応じて、高CPUおよび高メモリのインスタンスタイプを調べます。

から始めることができt1.microます。これは現在無料で入手でき、そこから行くことができます。

これが役立つかどうか教えてください!

于 2011-12-01T12:07:47.977 に答える