単一ノードの Hadoop 環境で同時に送信/実行できる Mapreduce ジョブの数を知りたいのですが、制限はありますか?
質問する
1623 次
3 に答える
2
構成の観点からは、私が認識している制限はありません。マップ スロットとレデュース スロットの数を任意に設定できます。ただし、実際には、各スロットは Hadoop コードを実行できる JVM をスピンアップする必要があり、これにはある程度のメモリが必要であるため、最終的にマシンのメモリが不足することになります。同時に大量のジョブを実行するには、ジョブ キューを巧妙に構成する必要がある場合もあります。
さて、何が可能かは、何が良いアイデアかということとは非常に異なる問題です...
于 2013-10-30T22:01:22.660 に答える
0
Reducer スロットの数は、クラスターの構成時に設定されます。これにより、各ジョブが要求する Reducer の数に基づいて MapReduce ジョブの数が制限されます。マッパーは一般に、DataNode の数とノードあたりのプロセッサの数によってより制限されます。
于 2013-10-30T20:29:48.870 に答える