hadoop - Hadoop HDFS のデータはどこで確認できますか

Question

マスター ノードとスレーブ ノードの dfs.name.dir と dfs.data.dir を /home/hduser/hadoop/hdfs/name /home/hduser/hadoop/hdfs/data として設定し、ファイルをローカル ディスクから HDFS にコピーします。HDFS のそのファイル データはどこで確認できますか

Answer 1

これらの構成パラメーターは、Hadoop がそのイメージと生データをローカル ファイルシステムのどこに格納するかを決定します。ファイル データを HDFS にインポートする場合、これらの値は含まれません。一般に、データは指定したパス (絶対パスの場合) で HDFS に書き込まれます/user/your_username。相対パスを使用する場合は、ユーザー名で修飾されたパス (デフォルトでは、これはだと思います) に書き込まれます。

したがって、example（ローカル）ホームディレクトリに名前の付いたファイルがあり、

local:~ matt> hadoop fs -put example relative/path

HDFS の で見つけることができるはず/user/matt/relative/path/exampleです。一方、こうすると

local:~ matt> hadoop fs -put example /absolute/path/in/hdfs

の HDFS になり/absolute/path/in/hdfs/exampleます。