8

私はhadoopにまったく慣れておらず、インストールを完了したばかりで2日かかりました...現在hadoop dfsコマンドを試していますが、何日もブラウジングしていたのに理解できませんでした。私が知りたいことへの答えを見つけてください。すべての例は、実際の構造を説明せずに、結果がどうなるかを示しているので、誰かがhadoophdfsの理解を手伝ってくれると嬉しいです。

HDFSにディレクトリを作成しました。

bin/hadoop fs -mkdir input

OK、lsコマンドで確認します。

bin/hadoop fs -ls
Found 1 items
drwxr-xr-x   - hadoop supergroup          0 2012-07-30 11:08 input

OK、問題ありません。すべてが完璧に見えます。しかし、実際にはHDFSデータはどこに保存されていますか？これは、hadoop.tmp.dirの下のcore-site.xmlで定義されている私のデータノードディレクトリ（/ home / hadoop / datastore）に格納されると思いましたが、そこにはありません。

次に、WEB-UIを介して表示しようとしましたが、「input」が「/ user / hadoop /」（/ user / hadoop / input）の下に作成されていることがわかりました。

私の質問は

  • （1）dfsコマンドで処理したすべてのものが格納されていないため、datanodeディレクトリ（hadoop.tmp.dir）は何に使用されますか？
  • （2）dfsコマンドで作成されたものはすべて/ user / XXX /に移動しますが、その値を変更するにはどうすればよいですか？
  • （3）通常のLinuxコマンド（ls / user / hadoop）からアクセスしようとすると、何も表示されません。/ user / hadoopは論理的に存在しますか？

私の質問がばかげているならごめんなさい..hadoopをよりよく理解するのに苦労している初心者..

前もって感謝します。

4

1 に答える 1

11

Hdfsはposixファイルシステムではないため、このファイルシステムを読み取って表示するにはhadoopapiを使用する必要があります。ここでファイルを読み取るためにhadoopAPIを使用しているので、hadoopfs-lsを実行する必要があるのはこのためです。hdfsのデータはブロックに保存され、すべてのデータノードに保存されます。このファイルシステムに関するメタデータは、Namenodeに保存されます。ディレクトリ「/home/ hadoop / datastore」に表示されるデータファイルは、個々のデータノードに保存されているブロックです。

チュートリアルでは、ファイルシステムについて詳しく調べる必要があると思います。Yahoo、hdfsに関するYDNチュートリアル

于 2012-07-30T04:06:22.113 に答える