多くの m1.medium/large インスタンスが ec2 で実行されています。一般的に、これらのマシンは私たちのニーズに最適です。ただし、ノード間で非常に恐ろしいスループットが得られます。少し調べてみると、これらのノードは異なるサブネット上にあり、おそらく異なるデータ センターにあることがわかります。
より多くのスループットを得るために、可能であれば、EC2 を使用してこれらのノードを (ネットワーク全体で) より近くに配置したいと考えています。トポロジは次のとおりです。
- EBS 上の中央に保存されたデータをホストする「サーバー」ノード、NFS エクスポート、常時オン。m1.大。
- 80% の時間稼働している 2 つのプライマリ ワーカー ノード。m1-大
- 一度に数時間だけオンになる 0 ～ 50 のスレーブ ノード。通常、これらは m1.smalls または m1.medium ですが、ジョブで必要な場合は m1.large にすることもできます。
スレーブ ノードは、エクスポートされた NFS ドライブをマウントします。
明らかに、スレーブがサーバーから遠く離れた場所でスピンアップすると、恐ろしいスループットが得られます。
配置グループについては承知していますが、これらにははるかに高価なインスタンス タイプとまったく異なる視覚化テクノロジが必要なようであり、40 個の追加ノードが必要な場合、配置グループにそれらのためのスペースがない可能性があります。
これにより、コストが大幅に増加し、柔軟性が低下します。
助言がありますか？