軽量の Hadoop 環境があります。
2 つのネームノード (ジョブトラッカー/HBase マスター) + 3 つのデータノード (タスクトラッカー/HBase リージョン)
それらはすべて、2 つのクアッドコア CPU + 16-24G メモリ + 合計 15T のようなものです。
飼育係が 3 人いるとしたら、飼育係はどのようなサーバー仕様になるのでしょうか? 誰でも経験を共有できますか?
軽量の Hadoop 環境があります。
2 つのネームノード (ジョブトラッカー/HBase マスター) + 3 つのデータノード (タスクトラッカー/HBase リージョン)
それらはすべて、2 つのクアッドコア CPU + 16-24G メモリ + 合計 15T のようなものです。
飼育係が 3 人いるとしたら、飼育係はどのようなサーバー仕様になるのでしょうか? 誰でも経験を共有できますか?
HBaseの観点から-
各 ZooKeeper サーバーに約 1 GB の RAM を割り当て、可能であれば専用のディスクを用意します (専用ディスクは、パフォーマンスの高い ZooKeeper アンサンブルを確保するためにできる最善の方法です)。非常に負荷の高いクラスターの場合、ZooKeeper サーバーを RegionServer (DataNode および TaskTracker) とは別のマシンで実行します。
-専用ディスクは、トランザクション ログの増大に合わせてスナップショットを保存するように構成する必要があります。
- スワップしないように十分な RAM が必要です。