Hadoop データノードは、namenode を呼び出すことによって自分自身を namenode に登録しますか、または namenode にデータノードのリストがあり、それらに到達しますか。
私が立ち上げた新しいネームノードの問題をより適切にトラブルシューティングするために理解したいと思います(ネームノードの障害の後)。
4802 次
3 に答える
3
各データノードは、namenode の詳細を hdfs.conf ファイルに保持します。また、namenode はすべてのデータ ノードの名前をスレーブ ファイルに保持します。ネームノードのスレーブファイルとデータノードのマスターファイルを更新する必要があると思います。
于 2013-05-21T11:27:02.143 に答える
3
namenode をハードシャットダウンする前に、 (データノードfs.default.nameで適切に構成された) 稼働中のクラスターがあると思います。core-site.xml
で namenode をシャットダウンすると、データノードkill -9 pidがログに表示され始めます。
INFO org.apache.hadoop.ipc.Client: サーバーへの接続を再試行しています: namenodehost/192.168.0.35:8020。すでに 0 回試行しました。
INFO org.apache.hadoop.ipc.Client: サーバーへの接続を再試行しています: namenodehost/192.168.0.35:8020。すでに 1 回試行しました。
...
INFO org.apache.hadoop.ipc.Client: サーバーへの接続を再試行しています: namenodehost/192.168.0.35:8020。すでに 9 回試行しました。
警告 org.apache.hadoop.hdfs.server.datanode.DataNode: java.net.ConnectException: namenodehost/192.168.0.35:8020 への呼び出しが接続例外で失敗しました: java.net.ConnectException: 接続が拒否されました ...
INFO org.apache.hadoop.ipc.Client: サーバーへの接続を再試行しています: namenodehost/192.168.0.35:8020。すでに 0 回試行しました。
INFO org.apache.hadoop.ipc.Client: サーバーへの接続を再試行しています: namenodehost/192.168.0.35:8020。すでに 1 回試行しました。
...
namenode を再度ロードするまで繰り返します。その時点で、datanodes のログには次のように表示されます。
INFO org.apache.hadoop.hdfs.server.datanode.DataNode: DatanodeCommand アクション: DNA_REGISTER
INFO org.apache.hadoop.hdfs.server.datanode.DataNode: 0 秒で 1 ボリュームのブロック書き込みレポートの生成が終了しました
INFO org.apache.hadoop.hdfs.server.datanode.DataNode: 非同期ブロック レポート スキャンを開始しています
INFO org.apache.hadoop.hdfs.server.datanode.DataNode: 非同期ブロック レポート スキャンが 10 ミリ秒で完了しました
INFO org.apache.hadoop.hdfs.server.datanode.DataNode: ファイルシステムとの非同期ブロック スキャンを調整しました。0 個のブロックがスキャン中に同時に削除され、0 個のブロックがスキャン中に同時に追加され、進行中の 4 つの作成が無視されました
INFO org.apache.hadoop.hdfs.server.datanode.DataNode: 0 ミリ秒で現在の状態に対して調整された非同期ブロック レポート
INFO org.apache.hadoop.hdfs.server.datanode.DataNode: 411 ブロックの BlockReport の生成に 0 ミリ秒、RPC および NN 処理に 68 ミリ秒かかりました
各データノードはネームノードに再接続し、すべて正常に機能します。
これは役に立ちますか？
于 2013-05-21T12:36:07.507 に答える