0

簡単なソートプログラムを実行していますが、以下のようなエラーが発生します。

12/06/15 01:13:17 WARN mapred.JobClient: Error reading task outputServer returned HTTP response code: 403 for URL: _http://192.168.1.106:50060/tasklog?plaintext=true&attemptid=attempt_201206150102_0002_m_000001_1&filter=stdout
12/06/15 01:13:18 WARN mapred.JobClient: Error reading task outputServer returned HTTP response code: 403 for URL: _http://192.168.1.106:50060/tasklog?plaintext=true&attemptid=attempt_201206150102_0002_m_000001_1&filter=stderr
12/06/15 01:13:20 INFO mapred.JobClient:  map 50% reduce 0%
12/06/15 01:13:23 INFO mapred.JobClient:  map 100% reduce 0%
12/06/15 01:14:19 INFO mapred.JobClient: Task Id : attempt_201206150102_0002_m_000000_2, Status : FAILED
Too many fetch-failures
12/06/15 01:14:20 WARN mapred.JobClient: Error reading task outputServer returned HTTP response code: 403 for URL: _http://192.168.1.106:50060/tasklog?plaintext=true&attemptid=attempt_201206150102_0002_m_000000_2&filter=stdout

誰かがその理由とそれを解決する方法を知っていますか?

-------詳細なログ情報の更新-------------------

2012-06-15 19:56:07,039警告org.apache.hadoop.util.NativeCodeLoader:プラットフォームのネイティブhadoopライブラリを読み込めません...該当する場合は組み込みのJavaクラスを使用します2012-06-15 19:56: 07,258警告org.apache.hadoop.metrics2.impl.MetricsSystemImpl:ソース名ugiはすでに存在します!2012-06-15 19:56:07,339 INFO org.apache.hadoop.mapred.Task:ResourceCalculatorPluginの使用:null 2012-06-15 19:56:07,346 INFO org.apache.hadoop.mapred.ReduceTask:ShuffleRamManager:MemoryLimit = 144965632、MaxSingleShuffleLimit = 36241408 2012-06-15 19:56:07,351 INFO org.apache.hadoop.mapred.ReduceTask:attempt_201206151954_0001_r_000000_0スレッドが開始されました:ディスク上のファイルをマージするためのスレッド2012-06-15 19:56:07,351INFOorg。 apache.hadoop.mapred.ReduceTask:attempt_201206151954_0001_r_000000_0スレッドが開始されました:メモリファイルにマージするためのスレッド2012-06-15 19:56:07、

2012-06-15 19:56:32,077 INFO org.apache.hadoop.mapred.ReduceTask:タスクattempt_201206151954_0001_r_000000_0:attempt_201206151954_0001_m_000000_0からのフェッチ#1に失敗しました2012-06-15 19:56:32,077 INFO org.apache.hadoop.mapred.ReduceTask :MAX_FETCH_RETRIES_PER_MAPの再試行後も、attempt_201206151954_0001_m_000000_0からマップ出力をフェッチできませんでした...または読み取りエラーであり、JobTrackerに報告します2012-06-15 19:56:32,077 WARN org.apache.hadoop.mapred.ReduceTask:attempt_201206151954_0001_r_000000_0ホスト192.168.1.106をペナルティボックスに、12秒以内に次の連絡先2012-06-15 19:56:32,077 INFO org.apache.hadoop.mapred.ReduceTask:attempt_201206151954_0001_r_000000_0:以前の失敗から1つのマップ出力を取得しました2012-06-15 19 :56:47,080 INFO org.apache.hadoop.mapred.ReduceTask:try_201206151954_0001_r_000000_0スケジュールされた1つの出力(0の低速ホストと0の重複ホスト)2012-06-15 19:56:56,048警告org.apache.hadoop.mapred.ReduceTask:attempt_201206151954_0001_r_000000_0コピーに失敗しました:attempt_201206151954_0001_m_000000_0 from 192.168.1.106 2012-06 :56,049警告org.apache.hadoop.mapred.ReduceTask:java.io.IOException:サーバーがHTTP応答コードを返しました:URLの403:_http://192.168.1.106:50060 / mapOutput?job = job_201206151954_0001&map = attempt_201206151954_0001_m_000000_0&reduce = 0 at sun .net.www.protocol.http.HttpURLConnection.getInputStream(HttpURLConnection.java:1436)at org.apache.hadoop.mapred.ReduceTask $ ReduceCopier $ MapOutputCopier.getInputStream(ReduceTask.java:1639)at org.apache.hadoop.mapred org.apacheの.ReduceTask$ReduceCopier $ MapOutputCopier.setupSecureConnection(ReduceTask.java:1575)。hadoop.mapred.ReduceTask $ ReduceCopier $ MapOutputCopier.getMapOutput(ReduceTask.java:1483)at org.apache.hadoop.mapred.ReduceTask $ ReduceCopier $ MapOutputCopier.copyOutput(ReduceTask.java:1394)atorg.apache.hadoop.mapred。 ReduceTask $ ReduceCopier $ MapOutputCopier.run(ReduceTask.java:1326)

try_201206151954_0001_r_000000_0 0がすでに進行中の別の2つのマップ出力が必要2012-06-1519:57:11,053 INFO org.apache.hadoop.mapred.ReduceTask:attempt_201206151954_0001_r_000000_0スケジュールされた0出力(1つの低速ホストと0の重複ホスト)2012- 06-15 19:57:11,053 INFO org.apache.hadoop.mapred.ReduceTask:ペナルティ(遅い)ホスト:2012-06-15 19:57:11,053 INFO org.apache.hadoop.mapred.ReduceTask:192.168.1.106 Will 1秒後に考慮されます。2012-06-15 19:57:16,055 INFO org.apache.hadoop.mapred.ReduceTask:attempt_201206151954_0001_r_000000_0スケジュールされた1つの出力(0の低速ホストと0の重複ホスト)2012-06-15 19:57:25,984警告org.apache.hadoop。 mapred.ReduceTask:attempt_201206151954_0001_r_000000_0コピーに失敗しました:attempt_201206151954_0001_m_000000_0 from 192.168.1.106 2012-06-15 19:57:25,984 WARN org.apache.hadoop.mapred.ReduceTask:java.io。

よろしくお願いします、

4

1 に答える 1

4

同じ問題がありました。掘り下げた後、問題がホストの名前解決にあることを突き止めました。での特定の試行のログを確認してください

$HADOOP_HOME/logs/userlogs/JobXXX/attemptXXX/syslog

そして、それが次のようなものを持っている場合

警告 org.apache.hadoop.mapred.ReduceTask: java.net.UnknownHostException: slave-1.local.lan

次に、適切なエントリを /etc/hosts に追加します。これを行った後、エラーは解決され、次の試行ではすべて正常に機能しました。

于 2012-10-27T14:33:20.923 に答える