MRv2でマルチノードhadoop2.0.2クラスターを実行しています。私の問題は、この特定のページとfsckコマンドが3つのライブノードしか表示しないことです。
このページは実際の番号を示していますが。ライブノードの
もう1つの問題は、一部のデータノードが自動的にシャットダウンされる場合があることです。pblmと、同じクラスターが2つの異なるライブノードを表示している理由を知るにはどうすればよいですか?
MRv2でマルチノードhadoop2.0.2クラスターを実行しています。私の問題は、この特定のページとfsckコマンドが3つのライブノードしか表示しないことです。
このページは実際の番号を示していますが。ライブノードの
もう1つの問題は、一部のデータノードが自動的にシャットダウンされる場合があることです。pblmと、同じクラスターが2つの異なるライブノードを表示している理由を知るにはどうすればよいですか?
使用している Web インターフェイスについてhttp://localhost:50070/dfshealth.jsp
は、NameNode WebUIhttp://localhost:8088/cluster
用および ResourceManager WebUI 用です。
Although this page shows actual no. of live nodes
実際には、ライブ ノードは表示されません。各ノードの を確認するLast Health Updates
と、スレーブ 1、2、3 の 3 つのノードが 2013 年 3 月 16 日に最後に更新され、残りは 2013 年 3 月 15 日に最後に更新されていることがわかります。 50070 の Namenode インターフェイス。現在アクティブなのは 3 つだけです。
Another problem is some times some datanodes are getting shutdown automatically.
2013 年 3 月 15 日 (最終更新) の 01:00:00 頃に 4 つのノードがダウンしました。そのため、シャットダウンした理由として、その間のデータノードのログファイルを調査します。環境変数を設定していない場合は、$HADOOP_HOME/logs/
またはのいずれかでそれらを見つけることができます/var/log/hadoop*
HADOOP_LOG_DIR
ノード マネージャーにリソース マネージャーの場所を知らせるために、yarn-site.xml でいくつかの構成を行う必要があります。具体的には、次のプロパティを yarn-site.xml に追加しました。
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
理由: yarn-default.xml のデフォルト値は 0.0.0.0 であり、多くのプロパティがこのホスト名を使用してリソース マネージャーに接続します。
<property>
<name>yarn.resourcemanager.address</name>
<value>${yarn.resourcemanager.hostname}:8032</value>
</property>