namenode と jobtracker がマスターで実行され、tasktracker と datanode がマスターとスレーブの両方である aws に 2 ノードの Hadoop クラスターをセットアップしました。dfs を開始すると、namenode、両方のノードの datanode、およびセカンダリ namenode が開始されることが通知されます。map reduce を開始すると、両方のノードでジョブトラッカーとタスクトラッカーが開始されたことが通知されます。サンプルが機能していることを確認するために実行を開始しましたが、namenode Web インターフェイスで使用されているタスクトラッカーは 1 つだけであるとのことでした。ログを確認したところ、スレーブのデータノードとタスクトラッカーノードのログに次のようなものがありました
2013-08-08 21:31:04,196 INFO org.apache.hadoop.ipc.RPC: Server at ip-10-xxx-xxx-xxx/10.xxx.xxx.xxx:9000 not available yet, Zzzzz...
2013-08-08 21:31:06,202 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: ip-10-xxx-xxx-xxx/10.xxx.xxx.xxx:9000. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
namenode はポート 9000 で実行されています。これは datanode ログにありました。tasktracker ログには、ポート 9001 以外は同じものがありました。ジョブトラッカーが実行されていた場所。このエラーhttp://wiki.apache.org/hadoop/ServerNotAvailableについてApache wikiで何かを見つけることができましたが 、彼らが述べた可能性のある問題を見つけることができませんでした。私は両方のノードを aws で実行しているので、両方のポートにアクセス許可が付与されていることも確認しました。
要約すれば。
スレーブ ノードのタスクトラッカーとデータ ノードがマスターに接続されない
私はIPアドレスが正しいことを知っています、私は何度もチェックしました
両方のインスタンスから相互に、およびインスタンス自体にフレーズレス ssh をパスできます
ポートには aws のアクセス許可が付与されています
ログに基づいて、namenode と jobtracker の両方が正常に動作しています
ホスト名ではなく、マスターとスレーブのIPを構成ファイルに入れました.
他に考えられる理由を知っている人はいますか？