Hadoop 2.2 クラスターをセットアップしています。マスターとスレーブを正常に構成しました。マスターに入るstart-dfs.sh
とstart-yarn.sh
、すべてのデーモンが正しく起動します。
具体的には、マスターで次のものが実行されています。
- データノード
- ノードマネージャー
- NameNode
- リソースマネージャー
- セカンダリ名ノード
スレーブでは、以下が実行されています。
- データノード
- ノードマネージャー
開くhttp://master-host:50070
と、「ライブ ノード」が 1 つしかなく、マスターのデータノードを参照していることがわかります。
スレーブのデータノードは開始されていますが、開始したことをマスターに伝えることができません。これは私が見つけることができる唯一のエラーです:
スレーブの /logs/hadoop-hduser-datanode.log から: 警告 org.apache.hadoop.hdfs.server.datanode.DataNode: サーバーへの接続の問題: ec2-xx-xxx-xx-xx.compute-1.amazonaws .com/xx.xxx.xx.xxx:9001
私がチェック/検証したこと:
- 9001は開いています
- 両方のノードが相互に ssh できる
- 両方のノードが互いに ping を実行できる
どんな提案でも大歓迎です。