4

私が現在調査員のために実行している科学計算プロジェクト (たまたま、ここで説明されている確率的トラクトグラフィー法である可能性があります) は、50 ノードのクラスターで 4 か月かかると聞いて、調査員は私に他のオプションを検討するように依頼しました。このプロジェクトは現在、並列 python を使用して、4 次元配列のチャンクを異なるクラスター ノードにファーム アウトし、処理されたチャンクを元に戻しています。

私が現在取り組んでいるジョブは、おそらく粗すぎる可能性があります (5 秒から 10 分、並列 Python でタイムアウトのデフォルトを増やす必要がありました)。書き直すことで、プロセスを 2 倍から 4 倍高速化できると推定しています。リソースをより有効に活用するため (データを分割して元に戻すには時間がかかりすぎるため、これも並列化する必要があります)。ほとんどの作業は、numpy 配列によって行われます。

2 ～ 4 回では不十分であると仮定して、ローカル ハードウェアからコードを取り出すことにしました。このような高スループット コンピューティングの場合、商用オプションは何ですか? また、コードをどのように変更する必要がありますか?

4

2 に答える 2

6

PiCloudに興味があるかもしれません。私はそれを使用したことはありませんが、彼らの提供には、標準的な科学ライブラリをカバーするEnthought Python Distributionが含まれているようです。

これが特定のケースで機能するかどうかを言うのは難しいですが、Parallel Python インターフェイスはかなり一般的です。したがって、あまり多くの変更が必要ないことを願っています。カスタム スケジューラ クラスを作成することもできます (PP と同じインターフェイスを実装します)。実際、これは多くの人にとって役立つ可能性があるため、PP フォーラムでサポートを募ることができるかもしれません。

于 2011-02-10T17:50:22.043 に答える
2

頭に浮かぶ最も明白な商用オプションは、Amazon EC2 と Rackspace Cloud です。私は両方を試してみましたが、Rackspace API の方が少し使いやすいことがわかりました。

幸いなことに、ごくわずかな投資 (通常は 1 時間あたり 0.10 米ドル程度) で、コンピューティング インスタンス (選択した OS の短期または長期の仮想マシン) のプロトタイプを作成して試すことができます。必要に応じてそれらを作成し、完了したらクラウドにリリースし、使用した分だけ支払います。たとえば、6 つの Rackspace インスタンスを使用した Django のデプロイに関するデモを見ましたが、これにはおそらく 1 時間かかり、スピーカーの費用は 1 ドル未満でした。

ユース ケース (「高スループット」が何を意味するのか正確には明確ではありません) については、予算とコンピューティング ニーズ、および合計ネットワーク スループット (それに対しても支払います) を確認する必要があります。いくつかの小規模なテストと簡単なスプレッドシートの計算で、それが本当に実用的かどうかがわかります。

Rackspace Cloud と Amazon EC2 の両方に Python API があります。どちらを使用する場合でも、インスタンスのデプロイと構成を自動化するには、Python ベースの Fabric をお勧めします。

于 2011-02-10T17:47:49.863 に答える