0

ヘッドノードをマスターとして、他の7つのノードをスレーブとして構成したHadoopクラスターがあり、それぞれに8つのコアと8GBのメモリがあります。パラメータ「mapred.tasktracker.map.tasks.maximum」とスレーブ構成ファイル内のスレーブの数を変更して遊んでいます。今、私のプログラムがたとえば40のタスクを実行する必要がある場合、ログファイルまたはどこかで個々のスレーブノードで実行されたタスクの数を確認できますか？基本的に、異なるノード間でのマップタスクの分散を探しています。

4

2 に答える 2

1

Gangliaをインストールして、ジョブトラッカーから統計を監視できます。私は自分のクラスターでこれを行い、インストールは非常に簡単でした。また、各ノードの負荷、スワップ、ディスク、メモリ使用量などを監視することもできます。

こちらの手順を参照してください：http ：//wiki.apache.org/hadoop/GangliaMetrics

GOTCHA ALERT：Gangliaをインストールする場合は、おそらくバージョン3.1を入手することになりorg.apache.hadoop.metrics.ganglia.GangliaContext31ます。そのページにあるものの代わりに使用するようにしてください。

于 2012-04-29T19:17:15.980 に答える
1

これを行う最も簡単な方法は、Hadoopシステムに付属のWebインターフェースを使用することです。

Webブラウザーで、次のように入力します。jobtrack-machine-hostname：50030例：localhost：50030

そして、あなたはあなたが望むものを手に入れるでしょう。

于 2012-04-29T20:42:52.597 に答える