hadoop - Hadoop HDFS ブロック サイズに関する考慮事項

Question

HDFS のブロック サイズを設定する方法を教えてください。

1. namenode のメモリ量
2. ネームノードの数。
3. HDFS に保存されるファイルの数
4. HDFS に保存される典型的なファイルのサイズ
5. ネームノードのディスク容量。

Answer 1

私が重要だと思うのは次のとおりです。
2. namenode は常に 1 つです。セカンダリ namenode はスケーラビリティに影響しません。
3. 保存するファイルが大きいほど、必要なブロックも大きくなります。
4. ブロック サイズを通常のファイル サイズよりも大きくすることはほとんど意味がありません。つまり、一般的なファイルが数十 MB の場合、ブロック サイズは問題になりません。
5. NameNode はすべてをメモリに保存し、通常はディスクの方がはるかに大きいため、通常は問題になりません。

ほとんどの場合、ブロック サイズが大きいほど良いと言えます。NameNode メモリを獲得し、オーバーヘッドでマップ タスクの数を減らし、処理するファイルが十分にある場合は、どのような場合でもすべてのタスク トラッカーを使用できます。