Hadoop 2.0.5 (Alpha) を使用して比較的大きなジョブを実行していますが、次のエラーが発生しました。
コンテナ [pid=15023,containerID=container_1378641992707_0002_01_000029] が仮想メモリの制限を超えて実行されています。現在の使用量: 1 GBの 物理メモリのうち 492.4 MB が使用されています。2.1 GBの仮想メモリのうち 3.3 GB を使用。殺人コンテナ。
次に、次の 2 つのパラメーターについて学びました。
デフォルトで 2.1 に設定されているyarn.nodemanager.vmem-pmem-ratio プロパティ。
デフォルトで -Xmx1024mb (=1GB) に設定されているyarn.app.mapreduce.am.command-opts 。
これで、上記の制限が説明されました。
これらのパラメーターをより高い値に設定すると効果がありましたが、次のパラメーターを見つけました: yarn.app.mapreduce.am.resource.mbは、デフォルトで 1536 に設定されています。
また、Hadoop の既定の XML に記載されている説明から 3 つの違いを完全に理解することも、最適化のためにそれらを適切に設定する方法もわかりません。
説明または良い参考文献をいただければ幸いです