hadoop - Hadoop HDFS の最大ファイル サイズ

Question

私の同僚は、HDFS には最大ファイル サイズがないと考えています。つまり、128/256 MB のチャンクに分割することで、任意のファイル サイズを格納できます (明らかに、HDFS ディスクにはサイズがあり、それが制限されますが、それが唯一の制限です)。限界があると言っているものが見つからないので、彼女は正しいですか？

ありがとう、ジム

Answer 1

まあ、明らかに実用的な限界があります。ただし、物理的に HDFS ブロック ID は Java long であるため、最大 2^63 であり、ブロック サイズが 64 MB の場合、最大サイズは 512 ヨタバイトです。

Answer 2

HDFS には最大ファイル サイズがないという彼女の発言は正しいと思います。実際に設定できるのはチャンク サイズだけで、デフォルトでは 64 MB です。任意の長さのサイズを保存できると思いますが、唯一の制約は、ファイルのサイズが大きいほど、それに対応するハードウェアが大きくなるということです。

Answer 3

私は Hadoop の専門家ではありませんが、私の知る限り、単一のファイル サイズに明示的な制限はありませんが、全体的なストレージ容量や名前空間の最大サイズなどの暗黙の要素はあります。また、エンティティの数とディレクトリのサイズに関する管理上の見積もりがある場合があります。HDFS 容量のトピックは、このドキュメントで詳しく説明されています。引用はここで説明され、ここで議論されます。

最後のリンクで参照されている Michael G Noll のブログに特に注意を払うことをお勧めします。このブログでは、多くの Hadoop 固有のトピックが取り上げられています。