hadoop - Hadoop のレプリケーション係数

Question

5 TB のデータがあり、組み合わせたクラスター全体のサイズの実際のサイズは 7 TB で、レプリケーション ファクターを 2 に設定しました。

1. この場合、どのようにデータを複製しますか?

2. レプリケーション ファクターにより、クラスター (ノード) 上のストレージの最小サイズは、常にデータのサイズの 2 倍にする必要があります。これは Hadoop の欠点だと思いますか?

Answer 1

これは、複製不足の場合です。5 つのブロックがあるとします。スペースの制約により、HDFS は最初の 3 ブロックのレプリカしか作成できませんでした。現在、他の 2 つのブロックは複製されていません。HDFS が十分なスペースを見つけると、2 つのブロックも複製しようとします。