8

今、ひどい質問があります。Hadoop でジョブを実行すると、マップ プロセスは問題なく 100% に達し、障害は発生しませんでした。しかし、reduce プロセスを実行していると、67% に達したときに停止しました。とても奇妙です。私は Hadoop を初めて使用し、オンラインで多くの資料を検索しましたが、今でも戸惑っています。フォローは出力の一部です。

13/10/25 21:40:00 INFO input.FileInputFormat: Total input paths to process : 2
13/10/25 21:40:01 INFO mapred.JobClient: Running job: job_201310252001_0003
13/10/25 21:40:02 INFO mapred.JobClient:  map 0% reduce 0%
13/10/25 21:40:30 INFO mapred.JobClient:  map 1% reduce 0%
13/10/25 21:40:37 INFO mapred.JobClient:  map 2% reduce 0%
13/10/25 21:40:39 INFO mapred.JobClient:  map 3% reduce 0%
13/10/25 21:40:40 INFO mapred.JobClient:  map 4% reduce 0%
13/10/25 21:40:42 INFO mapred.JobClient:  map 5% reduce 0%
13/10/25 21:40:43 INFO mapred.JobClient:  map 6% reduce 0%
13/10/25 21:40:45 INFO mapred.JobClient:  map 7% reduce 0%
13/10/25 21:40:46 INFO mapred.JobClient:  map 9% reduce 0%
13/10/25 21:40:48 INFO mapred.JobClient:  map 10% reduce 0%
13/10/25 21:40:49 INFO mapred.JobClient:  map 11% reduce 0%
13/10/25 21:40:52 INFO mapred.JobClient:  map 14% reduce 0%
13/10/25 21:40:55 INFO mapred.JobClient:  map 17% reduce 0%
13/10/25 21:40:58 INFO mapred.JobClient:  map 19% reduce 0%
13/10/25 21:41:01 INFO mapred.JobClient:  map 22% reduce 0%
13/10/25 21:41:04 INFO mapred.JobClient:  map 23% reduce 0%
13/10/25 21:41:05 INFO mapred.JobClient:  map 24% reduce 0%
13/10/25 21:41:07 INFO mapred.JobClient:  map 26% reduce 0%
13/10/25 21:41:08 INFO mapred.JobClient:  map 27% reduce 0%
13/10/25 21:41:10 INFO mapred.JobClient:  map 28% reduce 0%
13/10/25 21:41:11 INFO mapred.JobClient:  map 29% reduce 0%
13/10/25 21:41:13 INFO mapred.JobClient:  map 30% reduce 0%
13/10/25 21:41:14 INFO mapred.JobClient:  map 31% reduce 0%
13/10/25 21:41:16 INFO mapred.JobClient:  map 32% reduce 0%
13/10/25 21:41:20 INFO mapred.JobClient:  map 34% reduce 0%
13/10/25 21:41:23 INFO mapred.JobClient:  map 35% reduce 0%
13/10/25 21:41:26 INFO mapred.JobClient:  map 36% reduce 0%
13/10/25 21:41:34 INFO mapred.JobClient:  map 37% reduce 0%
13/10/25 21:41:39 INFO mapred.JobClient:  map 38% reduce 0%
13/10/25 21:41:43 INFO mapred.JobClient:  map 40% reduce 0%
13/10/25 21:41:44 INFO mapred.JobClient:  map 40% reduce 6%
13/10/25 21:41:46 INFO mapred.JobClient:  map 42% reduce 6%
13/10/25 21:41:49 INFO mapred.JobClient:  map 43% reduce 6%
13/10/25 21:41:51 INFO mapred.JobClient:  map 44% reduce 6%
13/10/25 21:41:52 INFO mapred.JobClient:  map 45% reduce 6%
13/10/25 21:41:55 INFO mapred.JobClient:  map 46% reduce 6%
13/10/25 21:41:57 INFO mapred.JobClient:  map 47% reduce 6%
13/10/25 21:41:58 INFO mapred.JobClient:  map 48% reduce 9%
13/10/25 21:42:01 INFO mapred.JobClient:  map 51% reduce 12%
13/10/25 21:42:04 INFO mapred.JobClient:  map 54% reduce 12%
13/10/25 21:42:07 INFO mapred.JobClient:  map 56% reduce 12%
13/10/25 21:42:10 INFO mapred.JobClient:  map 58% reduce 12%
13/10/25 21:42:13 INFO mapred.JobClient:  map 60% reduce 12%
13/10/25 21:42:16 INFO mapred.JobClient:  map 61% reduce 12%
13/10/25 21:42:19 INFO mapred.JobClient:  map 62% reduce 15%
13/10/25 21:42:22 INFO mapred.JobClient:  map 63% reduce 15%
13/10/25 21:42:23 INFO mapred.JobClient:  map 65% reduce 15%
13/10/25 21:42:26 INFO mapred.JobClient:  map 66% reduce 15%
13/10/25 21:42:28 INFO mapred.JobClient:  map 67% reduce 15%
13/10/25 21:42:29 INFO mapred.JobClient:  map 68% reduce 15%
13/10/25 21:42:32 INFO mapred.JobClient:  map 69% reduce 15%
13/10/25 21:42:34 INFO mapred.JobClient:  map 70% reduce 18%
13/10/25 21:42:35 INFO mapred.JobClient:  map 72% reduce 18%
13/10/25 21:42:38 INFO mapred.JobClient:  map 75% reduce 18%
13/10/25 21:42:41 INFO mapred.JobClient:  map 77% reduce 18%
13/10/25 21:42:44 INFO mapred.JobClient:  map 80% reduce 18%
13/10/25 21:42:47 INFO mapred.JobClient:  map 82% reduce 18%
13/10/25 21:42:50 INFO mapred.JobClient:  map 85% reduce 18%
13/10/25 21:42:53 INFO mapred.JobClient:  map 87% reduce 18%
13/10/25 21:42:56 INFO mapred.JobClient:  map 88% reduce 18%
13/10/25 21:42:59 INFO mapred.JobClient:  map 89% reduce 18%
13/10/25 21:43:02 INFO mapred.JobClient:  map 90% reduce 18%
13/10/25 21:43:05 INFO mapred.JobClient:  map 91% reduce 18%
13/10/25 21:43:18 INFO mapred.JobClient:  map 94% reduce 21%
13/10/25 21:43:21 INFO mapred.JobClient:  map 97% reduce 21%
13/10/25 21:43:24 INFO mapred.JobClient:  map 99% reduce 27%
13/10/25 21:43:27 INFO mapred.JobClient:  map 100% reduce 30%
13/10/25 21:43:30 INFO mapred.JobClient:  map 100% reduce 67%
4

1 に答える 1

28

ここでの症状は、reduce フェーズのコードが「スタック」していることです。これは、無限ループまたは受信したデータのばかげた量、またはその他の理由のいずれかです (おそらく、reduce コードを投稿しますか?)。

レデューサーでパーセンテージが機能する方法は次のとおりです。

  1. 0-33% がシャッフルです。これは、マッパーからレデューサーに移動するデータです (マッパーが終了する前に開始する方法を参照してください)。
  2. 33% ～ 67% が目安です。これは、マッパーが終了したときにのみ開始できます (マップが 100% になった後、30% から 67% になる様子をご覧ください)。
  3. 67%-100% は、実行している実際の削減コードです。このパーセンテージは、reduce タスクが完了するたびに増加します。reduce タスクはどれも完了していません。

JobTracker インターフェースで、ジョブを見て、レデューサーが取得しているデータの量を確認します。レデューサーのレコード数が増加している場合は、レデューサーに送信されるデータが多すぎる可能性があります。その数が変わらない場合は、ある種の無限ループが発生している可能性があります。

于 2013-10-25T15:39:34.050 に答える