9

Hadoop 2.0.5 (Alpha) を使用して比較的大きなジョブを実行していますが、次のエラーが発生しました。

コンテナ [pid=15023,containerID=container_1378641992707_0002_01_000029] が仮想メモリの制限を超えて実行されています。現在の使用量: 1 GBの 物理メモリのうち 492.4 MB が使用されています。2.1 GBの仮想メモリのうち 3.3 GB を使用。殺人コンテナ。

次に、次の 2 つのパラメーターについて学びました。

デフォルトで 2.1 に設定されているyarn.nodemanager.vmem-pmem-ratio プロパティ。

デフォルトで -Xmx1024mb (=1GB) に設定されているyarn.app.mapreduce.am.command-opts 。

これで、上記の制限が説明されました。

これらのパラメーターをより高い値に設定すると効果がありましたが、次のパラメーターを見つけました: yarn.app.mapreduce.am.resource.mbは、デフォルトで 1536 に設定されています。

また、Hadoop の既定の XML に記載されている説明から 3 つの違いを完全に理解することも、最適化のためにそれらを適切に設定する方法もわかりません。

説明または良い参考文献をいただければ幸いです

4

2 に答える 2