hadoop - 情報を格納する Hadoop データノード ブロック

Question

クラスター内に特定Datanodeの ブロックがいくつ格納されているかを調べたい。そして、それらのブロックがどのファイルに属しているか..クラスターHadoopしかありません。2-node

Answer 1

ノード クラスタが 2 つしかないため、すべてのブロックがそこに格納されます。一般に、データノードに存在するブロックを簡単に見つけることができるとは思いません。ところで、これのユースケースは何ですか

Answer 2

Web ブラウザで をポイントして、HDFS WebUI に移動しますNameNode_Machine:50070。に行き、Cluster SummaryをクリックしLive Datanodesます。最後の列にブロック数が表示されるテーブルで現在使用可能なすべての DataNode が表示されます。

ファイルとそのブロックの関係を見つけるには、そのファイルを webUI で開き、下にスクロールします。そのファイルのすべてのブロックと、各ブロックの場所が表示されます。