HDFS クラスターには 2 億のファイルがあり、各ファイルは NameNode メモリで 150 バイトと 3 ブロックを占有することがわかっているため、NN には合計 600 バイトがあります。そこで、2 億ファイルを適切に処理できるように 250 GB の NN メモリを設定しました。私の質問は、メモリ サイズが 250GB と非常に大きいため、GC に過度の負担がかかるのでしょうか? NN 用に 250GB のメモリを作成することは可能ですか。
Can someone just say something, why no body answer??
理想的な名前ノードのメモリ サイズは、データのメタで使用される合計スペース + OS + デーモンのサイズ、および関連データを処理するための 20 ～ 30% のスペースです。
また、データがクラスターに入る速度も考慮する必要があります。1 TB/日のデータが入ってくる場合は、より大きなメモリ ドライブを検討する必要があります。そうしないと、すぐにメモリが不足してしまいます。
いつでも少なくとも 20% のメモリを空けることをお勧めします。これは、名前ノードが完全なガベージ コレクションに入るのを回避するのに役立ちます。Marco が以前に指定したように、NameNode Garbage Collection Configuration: Best Practices and Rationale for GC config を参照できます。
あなたの場合、大量のデータを取得せず、既存のデータに対して多くの操作を実行しない場合、256 は適切に見えます。