私は現在、Hadoopの単語数アプリケーションをベンチマークとして使用しています。CPU使用率は、80〜90％前後でほぼ一定であることがわかりました。CPU使用率を変動させたいのですが。この機能を提供できるHadoopアプリケーションはありますか？どうもありがとう。
2084 次
1 に答える
2
Hadoopが使用する範囲を調整または指定する方法はないと思います。Hadoopは、使用可能なCPUを使用します。私がたくさんの仕事をしているとき、私は常に90％以上の範囲にいます。
CPU使用率を制御する1つの方法は、各タスクトラッカーが同時に実行できるマッパー/リデューサーの最大数を変更することです。これは、の
mapred.tasktracker.{map|reduce}.tasks.maximum設定によって行われ$HADOOP_HOME/conf/core-site.xmlます。
マッパー/リデューサーの数が制限されている場合、そのタスクトラッカーで使用するCPUは少なくなります。
mapred.tasktracker.{map|reduce}.tasksもう1つの方法は、ジョブを設定するときにの構成値を設定することです。これにより、そのジョブはその数のマッパー/リデューサーを使用するようになります。この数は使用可能なタスクトラッカーに分割されるため、4つのノードがあり、各ノードに1つのマッパーを設定mapred.tasktracker.map.tasksする場合は4。ノードが4つのマッパーを実行できる場合、4つすべてを実行する可能性もあります。hadoopがタスクをどのように分割するかは正確にはわかりませんが、ジョブごとに数を強制することはオプションです。
それがあなたが行くところにあなたを連れて行くのを助けることを願っています。私はあなたが何を探しているのかまだよくわかりません。:)
于 2011-04-21T20:22:24.780 に答える