hadoop - Hadoopがジョブに合わせて調整されているかどうかを確認する方法、

Question

仕事 (4 GB のデータを処理) があり、CPU 使用率とメモリ使用率を確認しましたが、どちらも 10% 未満です。

Answer 1

Hadoop には、Hadoop クラスタ設定を確認するための Benchmark ユーティリティが付属しています。

Hadoop TestDFSIO を確認します。

Answer 2

あなたの仕事はおそらくそれ以上のものを必要としません。TeraSort (サンプル jar に含まれています) を使用してクラスターのストレス テストを試すことができます。ノードがまだ非常に低い使用量で動作している場合は、構成に問題がある可能性があります。