0

jobtracker ログに次のように表示されます。 

011-11-02 10:04:09,595 WARN org.apache.hadoop.mapred.JobInProgress: No room for reduce task. Node tracker_worker1:localhost/127.0.0.1:52295 has 62087933952 bytes free; but we expect reduce input to take 176511226508
  • hadoop がレデューサー入力を176511226508と計算する方法を知りたいです。
  • それぞれ 70 ギガの小さなワーカー ノードが 2 つと、リデューサーが 1 つあります。この問題を解決するにはどうすればよいですか?by increasing the number of reducers?
4

1 に答える 1

1

ResourceEstimator＃getEstimatedReduceInputSize（）を確認してください。いつものように、getEstimatedReduceInputSize関数に関するコメントはまばらです。それを理解するためにいくらかの努力を払わなければなりません。

于 2011-11-02T18:22:51.490 に答える