12

ここで何が起こっているのかわかりませんが、単純なファイルをローカル ファイル システムのディレクトリから hdfs 用に指定されたディレクトリにコピーしようとしています。

私の hdfs-site.xml では、次のプロパティを使用して、hdfs のディレクトリが /home/vaibhav/Hadoop/dataNodeHadoopData になるように指定しました。

<name>dfs.data.dir</name>
<value>/home/vaibhav/Hadoop/dataNodeHadoopData/</value>

and 

<name>dfs.name.dir</name>
<value>/home/vaibhav/Hadoop/dataNodeHadoopData/</value>

次のコマンドを使用しています-

bin/hadoop dfs -copyFromLocal /home/vaibhav/ml-100k/u.data /home/vaibhav/Hadoop/dataNodeHadoopData

ファイル u.data をローカル ファイル システムの場所から Hdfs ディレクトリとして指定したディレクトリにコピーします。しかし、これを行うと、何も起こりません-エラーも何もありません。また、ファイルは hdsf にコピーされません。私は何か間違ったことをしていますか？権限の問題はありますか？

提案が必要です。

疑似分散シングル ノード モードを使用しています。

また、これに関連して、map reduce プログラムで、inputFilePath を /home/vaibhav/ml-100k/u.data としてポイントするように構成を設定したことを確認したいと思います。したがって、ファイルを特定の場所から hdfs に自動的にコピーしませんか?

4

1 に答える 1

23

私は、 2 つの異なる既存のディレクトリを指す必要があると信じdfs.data.dirています。dfs.name.dirさらに、構成内のディレクトリを変更した後、namenode FS をフォーマットしたことを確認してください。

HDFS へのコピー中に、ターゲットを誤って指定しています。ローカル ファイルを HDFS にコピーするための正しい構文は次のとおりです。

bin/hadoop dfs -copyFromLocal <local_FS_filename> <target_on_HDFS>

例：

bin/hadoop dfs -copyFromLocal /home/vaibhav/ml-100k/u.data my.data

これによりmy.data、HDFS のユーザーのホーム ディレクトリにファイルが作成されます。ファイルを HDFS にコピーする前に、まずディレクトリの内容の一覧表示とディレクトリの作成をマスターしてください。

于 2013-02-05T20:35:17.737 に答える