Find centralized, trusted content and collaborate around the technologies you use most.
Teams
Q&A for work
Connect and share knowledge within a single location that is structured and easy to search.
次の場合に混乱します。ファイル(サイズ<ブロックサイズ、レプリカ= 2)がhdfsに保存されている場合、「hadoop fsck + fileName」を使用してブロック数をカウントします。これは、レプリカ= 2、次に「合計ブロック」であるためです。ただし、「hadoop fsck」の結果は1であり、「hadoopfsck」の出力は次のようになります。
合計ブロック(検証済み):1(平均ブロックサイズ514399 B)
どうしたの?hadoopはどのようにファイルを保存しますか?
あなたの仮定は間違っています。Hadoop は、レプリケーションなしでブロックの数をカウントします。これは、hadoop ファイル システムを参照するときに確認できます。ファイルを選択すると、次のような出力が表示されます。
Total number of blocks: 1 471365007463424017: IP1:Port IP2:Port IP3:Port
これは、3 台の異なるマシンにある 1 つのブロックです (レプリケーション ファクター 3 の場合)。