アマゾンのウェブサービスは支払う必要があるので、私がそれに飛び込む前に、誰がそれに取り組んだかを尋ねて、それについての知識を確認したいと思います.
質問 1: Amazon Auto Scaling サービスでは、インスタンスをスケールアップおよびスケールダウンできると記載されています。とはどういう意味ですか?
インスタンスのタイプを変更するということですか？または、定義された条件に基づいて、より多くの/より少ないインスタンスベースを開始/停止できますか?
質問 2: 自動スケーリング フレームワークは map reduce と連携できますか?
たとえば、極端な場合、無限のタスクがあり、タスクを完了するまでの時間はさまざまであり、非常に計算集約的である可能性があります。自動スケーリング サービスを使用してマップを縮小できますか?
ありがとう
再。質問1：「スケールアップとスケールダウン」とは、必要に応じてインスタンスを追加し、不要になったときにインスタンスの数を減らす（つまり、仮想マシンインスタンスをシャットダウンできる）ことを意味します。
再。質問2：少なくともHadoopについて考えている場合、自動スケーリングはマップリデュースにはあまり意味がないと主張します：Map / Reduce＆Hadoopの背後にある主なアイデアの1つは、データが多くのデータに分割されることですのノードとノードは、それらに近いデータを処理できます。理想的には、ローカルディスク上、または少なくとも物理的に近接した別のマシン上で処理できます。もちろん、新しいインスタンスを開始することは可能ですが、それは、処理するデータを新しいインスタンスにコピーする必要がない場合にのみ意味があります。この説明があなたにとって意味があることを願っています...いずれにせよ、少なくとも私があなたの質問を正しく理解していれば、AmazonのElasticMapReduceオファリングをチェックしてください。
Atlassian で開発された EMR 自動スケーリング フレームワークであるThemisをご覧ください。現在の機能には、リアクティブな自動スケーリング (現在のクラスター負荷に基づく) とプロアクティブな自動スケーリング (事前定義されたスケジュールに基づく) が含まれており、Web UI が付属しており、ツールの構成は非常に簡単です。
(古いスレッドに投稿して申し訳ありませんが、このスレッドを発見した読者にとっては興味深い回答かもしれません。)