私はAWS上のHive(特にEMR)を調べていました。彼らは2つのオプションを提供しています
- 事前に指定された Hive クエリ (ブートストラップで) の実行が評価された後、EMR クラスターが破棄されるアドホック クラスターの生成。
hive
コマンド ライン クライアントを使用してマスターに SSH で接続し、Hive クエリを提供できるインタラクティブ モードで Hive クラスターを生成します。
明らかに、2 番目のオプションでは、明示的に終了するように要求されるまで、クラスターは存続します。
キープアライブ ハイブ クラスタ内のスレーブ ノードの数を変更したいと考えています。の追加と削除をサポートするだけで、単なる追加(削除ではない)をサポートすることをemr faqで読みました。コアノードは HDFS ストレージに貢献しますが、タスクノードは貢献しません。task-nodes
core-nodes
実行中のクラスターにコア ノードを追加し、実行中のクエリの数が少なくなったらそれらをスケールダウンしたいと考えています。これを達成する方法はありますか (cloudwatch を使用している可能性があります)?