1

Hadoop 2.2 クラスターをセットアップしています。マスターとスレーブを正常に構成しました。マスターに入るstart-dfs.shとstart-yarn.sh、すべてのデーモンが正しく起動します。

具体的には、マスターで次のものが実行されています。

  • データノード
  • ノードマネージャー
  • NameNode
  • リソースマネージャー
  • セカンダリ名ノード

スレーブでは、以下が実行されています。

  • データノード
  • ノードマネージャー

開くhttp://master-host:50070と、「ライブ ノード」が 1 つしかなく、マスターのデータノードを参照していることがわかります。

スレーブのデータノードは開始されていますが、開始したことをマスターに伝えることができません。これは私が見つけることができる唯一のエラーです:

スレーブの /logs/hadoop-hduser-datanode.log から: 警告 org.apache.hadoop.hdfs.server.datanode.DataNode: サーバーへの接続の問題: ec2-xx-xxx-xx-xx.compute-1.amazonaws .com/xx.xxx.xx.xxx:9001

私がチェック/検証したこと：

  • 9001は開いています
  • 両方のノードが相互に ssh できる
  • 両方のノードが互いに ping を実行できる

どんな提案でも大歓迎です。

4

1 に答える 1

1

私の問題はホストファイルにありました：

スレーブとマスターのホスト ファイルが必要でした (それらは同一です_:

127.0.0.1 localhost
<master internal ip> master
<slave internal ip> slave

AWS の場合、xx.xxx.xxx.xxx のような内部 IP を使用する必要があります (ec2-xx-xx-xxx.aws.com の外部 IP ではなく、ip-xx-xx-xxx ではありません)。

また、core-site.xml は、hdfs の場所を として参照する必要がありますhttp://master:9000。

于 2013-11-01T19:46:08.477 に答える