hadoop - Namenode リカバリ、namenode リカバリはどのように機能しますか?

Question

hadoopエコシステムでは、クラスターNameNodeで利用可能なすべてのデータを管理する責任があります。私の質問は、エコシステムが他のデータとどのように交換して回復するかです。SecondaryNameNodeNameNodeNameNodeNameNode

Answer 1

ここで考慮すべきことが 2 つあります。

1- Recovery through SecondaryNameNode
2- Recovery through redundant NameNode

にhadoop-1.xは、NameNode メタデータのコピーを保持する SecondaryNameNode に関する概念があります。NameNode がダウンした場合、SecondaryNameNode に保存されているメタデータのコピーを取得し、NameNode が再びアップしたら、それを使用して作業を再開できます。

hadoop-2.x(HA)複数の NameNode を持つことができます。プライマリ NameNode がダウンした場合、冗長 NameNode が引き継ぎ、クラスターが動作を停止しないようにすることができます (手動または自動)。この実装では、アクティブ/スタンバイ構成に NameNode のペアがあります。アクティブなネームノードに障害が発生した場合、スタンバイはその任務を引き継ぎ、クライアントの要求にサービスを提供し続けます。

HA 機能を利用するには、ジャーナリング ノードのクォーラム、または編集ログ トランザクション ファイル用の共有 HA-NFS ストレージを使用して、NameNode を HA モードで実行する必要があります。回復メカニズムを美しく説明しているこれらの投稿を確認することをお勧めします。

1- http://blog.cloudera.com/blog/2012/05/namenode-recovery-tools-for-the-hadoop-distributed-file-system/

2- http://blog.cloudera.com/blog/2012/10/quorum-based-journaling-in-cdh4-1/

3- http://blog.cloudera.com/blog/2012/03/high-availability-for-the-hadoop-distributed-file-system-hdfs/

ただし、hadoop-1.x を使用している場合は、NameNode メタデータを格納する場所を 2 つ (マシン自体のドライブ + 1 つの NAS) に分けたほうがよいでしょう。

HTH