-1

最近、ローカルのubuntuにhadoopをインストールしました。bin/start-all.shスクリプトを呼び出して data-node を開始しました。ただし、ワードカウントプログラムを実行しようとすると

bin/hadoop jar hadoop-examples-1.2.1.jar wordcount /home/USER/Desktop/books /home/USER/Desktop/books-output

私はいつも接続例外を受け取ります。フォルダ「本」は私のデスクトップ(ローカルファイルシステム)にあります。これを克服する方法について何か提案はありますか?

このチュートリアルのすべての手順に従いました。そのエラーを取り除く方法がわかりません。すべての助けをいただければ幸いです。

4

2 に答える 2

0

ここで少し混乱があります。hadoop ...コマンドを実行すると、コマンドが使用するデフォルトのファイルシステムはHadoop 分散ファイルシステムになるため、Hadoop がアクセスするには、ファイルが hdfs に配置されている必要があります。

ローカル ファイル システムから Hadoop ファイル システムにファイルをコピーするには、次のコマンドを使用する必要があります。

hdfs dfs -copyFromLocal /path/in/local/file/system /destination/on/hdfs

もう 1 つ、 IDEからプログラムを直接実行したい場合、この問題が発生することがあります。

core-site.xml and hdfs-site.xml次のようなconf変数内のファイル

conf.addResource(new Path("/usr/local/hadoop/etc/hadoop/core-site.xml")); conf.addResource(new Path("/usr/local/hadoop/etc/hadoop/hdfs-site.xml"));

上記のパスを hdfs-site.xml に変更し、core-site.xml をローカル パスに変更します。

したがって、上記の引数は、タグを使用して classPath に追加することにより、コマンド ラインから指定することもできます-cp

于 2015-09-12T10:13:59.620 に答える
0

書籍ファイルを hdfs にコピーします

入力パス引数には、コピーしたブック ファイルの hdfs パスを使用します。

詳細については、以下のリンクを参照してください。

http://cs.smith.edu/dftwiki/index.php/Hadoop_Tutorial_1_--_Running_WordCount#Basic_Hadoop_Admin_Commands

于 2013-09-17T08:19:02.197 に答える