12

シンプルな Hadoop プロジェクトをセットアップするには、次のチュートリアルに従っています: http://ebiquity.umbc.edu/Tutorials/Hadoop/23%20-%20create%20the%20project.html

私の Hadoop シングル ノードは正しく動作しているようです。

Inこのコードを使用してフォルダーを指定すると:

FileInputFormat.setInputPaths(conf, new Path("In"));

次のエラーが表示されます。

13/03/03 22:05:27 ERROR security.UserGroupInformation: PriviledgedActionException as:DEVUSER cause:org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: hdfs://localhost:9100/user/DEVUSER/In

現在、Inフォルダは次の場所に作成されていますC:\homedir\hadoop-1.0.4\In

に表示されるように「In」フォルダをどこに作成する必要がありますhdfs://localhost:9100/user/DEVUSER/Inか? ローカル ファイル システムのフォルダーを指すように xml ファイルを更新する必要がありますか?

4

3 に答える 3

26

まず、入力ファイルを HDFS ファイル システムにアップロードする必要があります。

bin/hadoop fs -mkdir In

/user/DEVUSER/InHDFS で指定されたディレクトリを作成します。

bin/hadoop fs -put *.txt In

*.txtすべてのファイルを現在のディレクトリからクラスター (HDFS)にコピーします。

チュートリアルのデータのアップロードの章をスキップしたようです。それに従えば、問題は解決するはずです。

于 2013-03-03T22:58:26.403 に答える
2

ファイルを hdfs にアップロードするのではなく、ローカル システムからファイルにアクセスしたくない場合は、次のように入力パスを設定してみてください。

FileInputFormat.setInputPaths(conf, new Path("file://path of the In Folder on your File system "));
于 2013-04-17T09:58:37.997 に答える
1

ハープンが言ったように、しかし、状況によっては、HDFS の下にそのディレクトリを作成しようとしても、次のメッセージが表示されず、次のメッセージが表示されます: mkdir: `In': No such file or directory その解決策として:

ビン/hadoop fs -mkdir /tmp/In

次に、テキスト ファイルを HDFS クラスターにコピーします。

bin/hadoop fs -put *.txt /tmp/In

于 2014-05-23T13:27:38.283 に答える