私の理解では、Hadoop は大きなファイルを取り、それを「データブロック」のチャンクに保存します。これらのデータ ブロックは T ファイルに保存されていますか? データブロックと T ファイルの関係は 1-1 ですか?
質問する
102 次
1 に答える
2
HDFSは、大きなファイルを一連のデータ ブロック (通常は 64/128/256/512 MB のような固定サイズ) として保存します。1GB のファイルと 256MB のブロック サイズがあるとします。HDFS はこのファイルを 4 つのブロックとして表します。Name ノードは、これらのブロックのコピー (またはレプリカ) を持つデータ ノードを追跡します。
T ファイルは、キーと値のペアを含むファイル形式です。Hadoop は、HDFS 内の 1 つ以上のデータ ブロックを使用して T ファイルを保存します (T ファイルのサイズと定義されたブロック サイズ (システムのデフォルトまたはファイル固有) に応じて異なります)。
要約すると、任意のファイル形式を HDFS に保存できます。固定サイズのブロックにチャンクアップされ、クラスタ全体に分散および複製されます。
于 2012-04-20T21:52:12.740 に答える