hadoop - Hadoop dfs でクラスターのフル パスを確認する方法

Question

hadoop dfs のデフォルトは相対パスのみです。例えば

hadoop dfs -ls / .... /tmp1/ .... /tmp2/

どのクラスターからのものかを確認するにはどうすればよいですか。フルパス。

Answer 1

Hadoop クラスターであるクラスターが 1 つだけあり、このクラスターには Namenode (アバター ノードまたはバックアップ ノードが追加される場合があります) と複数のデータノードがあります。HDFS はクラスター レベルで構成されているため、namenode は HDFS マスター コンポーネントを実行し、すべてのデータノードは HDFS スレーブ コンポーネントを実行していますが、論理的な観点から見ると、クラスター内に散在する HDFS は 1 つだけです。

したがって、hadoop Dfs -ls コマンドを呼び出すと、HDFS の論理ビューが取得され、すべてのノードで使用可能なファイル システム ビューが表示されます。これは、どのノードでも誰もが目にするものです。

HDFS 構成は、HDFS が namenode および datanode 内で構成されている物理フォルダーを説明します。物理パスが何であるかを示す conf/hdfs-sites.xml を開きます

<property>
 <name>dfs.name.dir</name>
 <value>FOLDER_INFO</value>
</property>
<property>
 <name>dfs.data.dir</name>
 <value>FOLDER_INFO</value>
</property>