0

パラメーターの全リスト (Hadoop-2.6 用) はリンクに記載されています

ただし、MRv1 または MRv2 スタイルのいずれかでジョブを実行できます。のように MRv1 にのみ適用されるパラメータがいくつかあると思いますがmapreduce.tasktracker.map.tasks.maximum、これは本当ですか? はいの場合、そのようなパラメーターをすべて把握するためのよりスマートな方法はありますか? -Dproperty=value または -D property=value を介してすべてのパラメーターを渡すことができますか、またはこのように渡すことができないパラメーターはありますか?

4

1 に答える 1

1

MR2 では、マップ タスクの数は、各コンテナーに割り当てられたメモリに応じて、リソース マネージャーによって動的に計算されます。

ホートンワークスより

YARN および MapReduce 2 では、Map および Reduce タスク用に事前構成された静的スロットがなくなりました。クラスター全体は、ジョブの必要に応じて Maps と Reduce の動的リソース割り当てに使用できます。

このページに詳しい情報があります。これをチェックして ください http://hortonworks.com/blog/how-to-plan-and-configure-yarn-in-hdp-2-0/

コマンドラインから -D property = value を使用して任意のパラメーターを渡すことができます。それに制限はありません。ただし、これらのプロパティが開発者によってコードで設定されている場合、コマンド ライン プロパティはジョブによってオーバーライドされます。

于 2015-05-06T07:45:53.680 に答える