3

次のサイトのmanulを使用して、hadoopを単一ノードとしてインストールおよび構成しました。

http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/#running-a-mapreduce-job

wordcountの例をコンパイルして実行しましたが、時間がかかり、生成されますShuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.

hduser@aptunix0043:/usr/local/hadoop/src$ hadoop jar WordCount.jar org/apache/hadoop/examples/WordCount input  ot

****hdfs://localhost:54310/user/hduser/input
12/07/03 02:52:35 INFO input.FileInputFormat: Total input paths to process : 1
12/07/03 02:52:36 INFO mapred.JobClient: Running job: job_201207030248_0002
12/07/03 02:52:37 INFO mapred.JobClient:  map 0% reduce 0%
12/07/03 02:52:52 INFO mapred.JobClient:  map 100% reduce 0%
12/07/03 03:21:26 INFO mapred.JobClient: Task Id :attempt_201207030248_0002_r_000000_0, Status : FAILED 
Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.

12/07/03 03:21:47 WARN mapred.JobClient: Error reading task outputConnection timed out
12/07/03 03:22:08 WARN mapred.JobClient: Error reading task outputConnection timed out
 /user/hduser/input/*12/07/03 03:50:01 INFO mapred.JobClient: Task Id :      attempt_201207030248_0002_r_000000_1, Status : FAILED
Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.
12/07/03 03:50:22 WARN mapred.JobClient: Error reading task outputConnection timed out
12/07/03 03:50:43 WARN mapred.JobClient: Error reading task outputConnection timed out
12/07/03 04:18:35 INFO mapred.JobClient: Task Id :  attempt_201207030248_0002_r_000000_2, Status : FAILED
Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.
12/07/03 04:18:56 WARN mapred.JobClient: Error reading task outputConnection timed out
12/07/03 04:19:17 WARN mapred.JobClient: Error reading task outputConnection timed out
12/07/03 04:47:15 INFO mapred.JobClient: Job complete: job_201207030248_0002
12/07/03 04:47:15 INFO mapred.JobClient: Counters: 23
12/07/03 04:47:15 INFO mapred.JobClient:   Job Counters
12/07/03 04:47:15 INFO mapred.JobClient:     Launched reduce tasks=4
12/07/03 04:47:15 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=12948
12/07/03 04:47:15 INFO mapred.JobClient:     Total time spent by all reduces waiting  after reserving slots (ms)=0
12/07/03 04:47:15 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0
12/07/03 04:47:15 INFO mapred.JobClient:     Launched map tasks=1
12/07/03 04:47:15 INFO mapred.JobClient:     Data-local map tasks=1
12/07/03 04:47:15 INFO mapred.JobClient:     Failed reduce tasks=1
12/07/03 04:47:15 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=16469
12/07/03 04:47:15 INFO mapred.JobClient:   FileSystemCounters
12/07/03 04:47:15 INFO mapred.JobClient:     HDFS_BYTES_READ=661744
12/07/03 04:47:15 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=288616
12/07/03 04:47:15 INFO mapred.JobClient:   File Input Format Counters
12/07/03 04:47:15 INFO mapred.JobClient:     Bytes Read=661630
12/07/03 04:47:15 INFO mapred.JobClient:   Map-Reduce Framework
12/07/03 04:47:15 INFO mapred.JobClient:     Map output materialized bytes=267085
12/07/03 04:47:15 INFO mapred.JobClient:     Combine output records=18040
12/07/03 04:47:15 INFO mapred.JobClient:     Map input records=12761
12/07/03 04:47:15 INFO mapred.JobClient:     Physical memory (bytes) snapshot=183209984
12/07/03 04:47:15 INFO mapred.JobClient:     Spilled Records=18040
12/07/03 04:47:15 INFO mapred.JobClient:     Map output bytes=1086716
12/07/03 04:47:15 INFO mapred.JobClient:     CPU time spent (ms)=1940
12/07/03 04:47:15 INFO mapred.JobClient:     Total committed heap usage  (bytes)=162856960
12/07/03 04:47:15 INFO mapred.JobClient:     Virtual memory (bytes) snapshot=393482240
12/07/03 04:47:15 INFO mapred.JobClient:     Combine input records=109844
12/07/03 04:47:15 INFO mapred.JobClient:     Map output records=109844
12/07/03 04:47:15 INFO mapred.JobClient:     SPLIT_RAW_BYTES=114

どんな手掛かり？

4

2 に答える 2

1

私のようにインターネットで検索してこのページにたどり着く人の利益のために、ここで2つの問題にぶつかるかもしれません

  1. DNS 解決 - Hadoop がインストールされている場合は、各ホストに完全修飾ドメイン名を使用していることを確認してください

  2. ファイアウォール - Hadoop ディストリビューションによっては、ファイアウォールがポート 50060、50030 およびその他のいくつかのポートをブロックする場合があります (cloudera の場合は 7182、7180)。

于 2013-12-18T06:05:17.177 に答える
0

以前にこのエラーが発生しましたが、DNS の問題が原因でした。Linux ベースのディストリビューションで実行していますか? その場合は、すべての /etc/hosts が同期していることを確認してください。私の場合、各ノードに「slave1 192.168.1.23」などのエイリアスを使用しました...しかし、それはボックス名と一致しなかったため、変更する必要がありました。または、hadoop conf の「スレーブ」に対応するボックス名に一致するようにボックス名を変更することもできます。

于 2013-01-28T03:16:16.437 に答える