0

よく知られているように、hadoop カウンターの数は 120 です。数を増やしたいと考え、flowing in 構成を追加してみました。

mapreduce.job.counters.limit=1000
mapreduce.job.counters.max=1000
mapreduce.job.counters.groups.max=500
mapreduce.job.counters.group.name.max=1000
mapreduce.job.counters.counter.name.max=500

しかし、それは意味がありませんでした。それで、皆さんはカウンター数を増やす方法を知っていますか。前もって感謝します！

4

2 に答える 2

0

JobTracker、TaskTrackers、およびクライアントのすべてで構成を更新し、それらを再起動する必要があります。たとえば、開始時にLimits.COUNTERS_MAXmapreduce.job.counters.limitにのみロードされます。

于 2013-06-27T01:48:49.573 に答える
0

あなたの質問の実際の部分は答えられましたが、私はいくつかのことをあなたに伝えたいと思います:

1- JobTracker は、アプリケーションの全期間にわたってすべての map/reduce タスクのすべてのカウンターを維持する必要があるため、カウンターは非常に高価です。したがって、それらを賢く使用してください。

2- カウンターは JobTracker に保存されるため、JobTracker がこのような高いカウンター値で OOM になる可能性はかなりあります。これが、Hadoop によって制限されたジョブごとに作成できるカウンターの数を維持する理由です。

于 2013-06-27T02:11:35.713 に答える