0

現在、社内プロジェクトでHadoop1.0.2を評価しています。

Hadoopドキュメントによると

セカンダリNameNodeは非推奨になりました。代わりに、チェックポイントノードまたはバックアップノードの使用を検討してください

3つのオプションとは何か、そしてそれらが何をするかについての情報がありますが、どのような状況で3つのオプションのどれが推奨されるかについての情報を見つけるのに苦労しています。

4

1 に答える 1

2

基本的に、チェックポイント ノードはセカンダリ ネーム ノードの新しい実装であり、バックアップ ポイントはネームノードのウォーム スタンバイに向かう途中の暫定リリースです (さらに、現在、読み取りと書き込みを分離することでパフォーマンスをわずかに向上させることができます。名前ノードとバックアップ ノードへの書き込み

Konstantin Shvachko によって説明されているBackupnode のドキュメントから:

このパッチでは、チェックポイント ノードとバックアップ ノードという 2 つの新しいタイプの名前ノードが導入されています。

  • 画像と編集ファイルをマージすることにより、名前ノードのメタデータをチェックポイントするためのチェックポイント ノードの役割。
  • バックアップ ノードは、ファイル システム メタデータのオンライン更新を受信し、それらをメモリ状態に適用し、ネーム ノードと同様にディスクに保持できるようにすることで、チェックポインターの機能を拡張します。したがって、バックアップ ノードには常に、メモリとローカル ディスクの両方に名前空間の最新のイメージが含まれます。これにより、バックアップ ノードはアクティブな名前ノードからファイルを転送する必要がなく、編集を再生 (マージ) する必要がないため、チェックポイント処理がはるかに効率的になります。
  • Term Standby ノードは、バックアップ ノードの機能をさらに拡張するために予約されています。これは、アクティブ ノードが停止した場合にクラスタが新しい名前ノードに切り替えることができる場合です。これは、設計書の「ウォーム スタンバイ規定」セクションに記載されています。

一般的な使用例:

  1. チェックポイント ノードを実行して、チェックポイントを作成します。これは、パッチによって廃止された現在の SecondaryNameNode の代わりに使用する必要があります。大量の SecondaryNameNode コードを再利用したので、この努力は無駄ではなく、進化しただけです。
  2. バックアップ ノードを実行して、編集のオンライン ストリーミングと効率的なチェックポイントをサポートします。これは特に、編集用のリモート ストレージとしての NFS を排除することを目的としています。
  3. 永続ストレージをまったく使用せずに NameNode を実行し、すべての「永続」機能をバックアップ ノードに委任します。ここでのコツは、name-node を -importCheckpoint オプションで開始してから、Backup ノードを実行することです。
于 2012-05-03T03:59:08.267 に答える