hadoop - HDFS がデフォルトでファイルをローカルに保存する場所は?

Question

1 ノード クラスターのデフォルト構成で Hadoop を実行しており、HDFS がファイルをローカルに保存する場所を見つけたいと考えています。

何か案は？

ありがとう。

Answer 1

dfs.data.dir設定については、 hdfs-default.xml構成ファイルを調べる必要があります。デフォルト設定は${hadoop.tmp.dir}/dfs/dataであり、${hadoop.tmp.dir} は実際にはここで説明されている core-default.xml にあることに注意してください。

設定オプションについては、こちらで説明しています。この設定の説明は次のとおりです。

DFS データ ノードがそのブロックを格納するローカル ファイルシステム上の場所を決定します。これがディレクトリのカンマ区切りのリストである場合、データは通常、異なるデバイス上のすべての名前付きディレクトリに保存されます。存在しないディレクトリは無視されます。

Answer 2

現在のバージョン（2.7.1）のように見えますが、ディレクトリは

/tmp/hadoop-${user.name}/dfs/data

に基づくdfs.datanode.data.dir、次のhadoop.tmp.dir設定: http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml http://hadoop.apache.org/docs/r2 .7.1/hadoop-project-dist/hadoop-common/core-default.xml

Answer 3

プロンプトでこれを実行cmdすると、HDFS の場所が取得されます。

bin/hadoop fs -ls /