java - IDマッパーがメモリから抜け出すことができるのはなぜですか？

Question

リデュースのみのHadoopジョブでは、入力ファイルはIDマッパーによって処理され、変更なしでレデューサーに送信されます。私のある仕事では、「メモリ不足エラー」と「GCオーバーヘッド制限を超えました」というマップフェーズでジョブが失敗するのを見て非常に驚きました。

私の理解では、IDマッパーのメモリリークは問題外です。そのようなエラーの原因は何でしょうか？

Answer 1

数時間の調査と試行錯誤の末、TASKグループにプロビジョニングしたマシンはメモリが少ない小さなインスタンスであり、さらに興味深いことに、メモリが不足したのはマッピングではなくシャッフル中だったことがわかりました。