問題タブ [namenode]

私はHadoopアーキテクチャに少し混乱しています。

1. Hadoop Namenodeにはどのような種類のファイルメタデータが保存されていますか？Hadoop wikiによると、Namenodeはシステムの名前空間全体を格納しているとのことです。最終変更時刻、作成時刻、ファイルサイズ、所有者、権限などの情報はNamenodeに保存されていますか？

2. datanodeはメタデータ情報を保存しますか？

3. Namenodeは1つだけですが、メタデータデータがサーバーの制限を超えることはできますか？

4. ユーザーがHadoopからファイルをダウンロードしたい場合、Namenodeからファイルをダウンロードする必要がありますか？以下のWebからのアーキテクチャ画像を見つけました。これは、クライアントがデータノードにデータを直接書き込むことができることを示していますか？それは本当ですか？

ありがとう！！！！！！！

Hdfsのnamenodeのファイルごとに何バイトを占めるか知っている人はいますか？32Gメモリの単一のネームノードに保存できるファイルの数を見積もりたい。

マスターノードでHadoopを起動しようとすると、次の出力が表示されます。namenodeが起動していません。

私はHadoop MapReduceパラダイムを使用しており、 DataNodeからNameNode IP アドレスを取得する必要があります。これを行う方法を教えてもらえますか?

ありがとう。

これらのプロパティはどちらも namenode に関連していることを知っています。しかし、それらの実際の違いは何ですか?

Hadoop の決定的なガイドは次のように述べています -

各 Namenode は軽量のフェイルオーバー コントローラ プロセスを実行し、そのジョブはNamenodeの障害を (単純なハートビート メカニズムを使用して) 監視し、namenode に障害が発生した場合にフェイルオーバーをトリガーします。

namenode が何かを実行して自身の障害を検出できるのはなぜですか?

誰が誰にハートビートを送りますか?

このプロセスはどこで実行されますか?

namenode の障害をどのように検出しますか?

移行の通知先は?

Namenode が失敗した場合、Secondary namenode の役割は何ですか?

HDFS クラスターには 2 億のファイルがあり、各ファイルは NameNode メモリで 150 バイトと 3 ブロックを占有することがわかっているため、NN には合計 600 バイトがあります。そこで、2 億ファイルを適切に処理できるように 250 GB の NN メモリを設定しました。私の質問は、メモリ サイズが 250GB と非常に大きいため、GC に過度の負担がかかるのでしょうか? NN 用に 250GB のメモリを作成することは可能ですか。