0

以下のコードを実行しようとしています：http：//blog.xebia.com/2011/09/27/wiki-pagerank-with-hadoop/

javacはエラーを表示しませんが、出力を取得する方法がわかりませんか？これらは私が従う実行ステップです：

$ javac -Xlint -classpath /home/james/Downloads/hadoop-0.20.203.0/hadoop-core-0.20.203.0.jar -d  doc WikiPageRanking.java
$ jar -cvf WikiPageRanking.jar -C doc/ .
$ bin/hadoop dfs -mkdir /user/james/wiki/in
$ bin/hadoop dfs -copyFromLocal wiki-micro.txt /user/james/wiki/in
$ bin/hadoop jar WikiPageRanking.jar org.myorg.WikiPageRanking /user/james/wiki/in /user/james/wiki/result

これは正しいですか？最後のステップである入力パスと出力パスを真剣に疑っています!! コードでは、wiki / inを使用しているため、ここで同じパスを指定し、サンプルデータセットをこのパスにコピーしました。マップリデュースプロセスが開始されますが、出力がありません!!

4

1 に答える 1

0

次のコマンドで何が得られますか:

hadoop fs -ls /user/james/wiki/result

hadoop fs -text /user/james/wiki/result/part*

ジョブを実行しても、ジョブの結果はコンソールに自動的にダンプされません。通常、結果は HDFS に保存されます (この場合、パス /user/james/wiki/result に保存されます)。最初のコマンドを使用してこのディレクトリの内容を表示できます。part* ファイルがいくつかあると仮定すると、2 番目のコマンドはそれらの内容をディスクにダンプします。

注意すべき最後のポイント - 出力形式が SequenceFileOutputFormat で、カスタム キー/値オブジェクトを使用している場合は、jar を含めるように 2 番目のコマンドを修正する必要があります。

hadoop fs -libjars WikiPageRanking.jar -text /user/james/wiki/result/part*
于 2012-03-25T16:08:16.670 に答える