25

Hadoop アーキテクチャの Namenode は単一障害点です。

大規模な Hadoop クラスターを使用している人々は、この問題にどのように対処していますか?.

プライマリ Namenode に障害が発生した場合にセカンダリ Namenode が引き継ぐ、業界で受け入れられているソリューションはありますか?

4

3 に答える 3

25

Yahoo では、NameNode の障害を考慮して、さまざまなクラスター サイズでの構成設定に関する特定の推奨事項を用意しています。例えば：

Hadoop クラスタの単一障害点は NameNode です。他のマシンが (断続的または永続的に) 失われてもデータが失われることはありませんが、NameNode が失われるとクラスターが使用できなくなります。NameNode データが永久に失われると、クラスターの HDFS が動作不能になります。

したがって、NameNode メタデータをバックアップするには、この構成で別の手順を実行する必要があります。

Facebook は、Hadoop の微調整バージョンをデータ ウェアハウスに使用しています。NameNode の信頼性に焦点を当てたいくつかの最適化があります。github で利用可能なパッチに加えて、Facebook は、プライマリ NameNode とセカンダリ NameNode をすばやく切り替えるために、特に AvatarNodeを使用しているようです。Dhruba Borthakur のブログには、単一障害点としての NameNode に関する詳細な洞察を提供する他のいくつかのエントリが含まれています。

編集: NameNode に対する Facebook の改善に関する詳細情報。

于 2010-12-21T19:51:44.420 に答える
1

大規模な Hadoop クラスターには、数千のデータ ノードと 1 つの名前ノードがあります。失敗の確率は、マシンの数に比例して増加します (他のすべてが等しい場合)。そのため、Hadoop がデータ ノードの障害に対処できなければ、拡張できません。名前ノードがまだ 1 つしかないため、単一障害点 (SPOF) がありますが、障害の可能性は依然として低くなります。

悲しいことに、Facebook が名前ノードにフェイルオーバー機能を追加することについての Bkkbrad の答えは正しいです。

于 2010-12-21T22:24:02.167 に答える