0

私の設定で何が問題だったのかを誰かが見つけてくれると助かります。

io.sort.mb の値を増やしたかったので、core-site.xml に以下のプロパティを追加しました。io.sort.mb 350m

以下に添付するランタイム情報は、io.sort.mb の値が変更されず、デフォルト値 io.sort.mb = 100 のままであることを明確に示しています。

13/08/15 16:43:34 INFO mapred.Task:  Using ResourceCalculatorPlugin : org.apache.hadoop.util.LinuxResourceCalculatorPlugin@1e5e96c1
13/08/15 16:43:34 INFO mapred.MapTask: numReduceTasks: 1
13/08/15 16:43:34 INFO mapred.MapTask: **io.sort.mb = 100**
13/08/15 16:43:34 INFO mapred.MapTask: data buffer = 79691776/99614720
13/08/15 16:43:34 INFO mapred.MapTask: record buffer = 262144/327680
13/08/15 16:43:34 INFO mapred.MapTask: Starting flush of map output
13/08/15 16:43:34 INFO mapred.MapTask: Finished spill 0
13/08/15 16:43:34 INFO mapred.Task: Task:attempt_local_0001_m_004609_0 is done. And is in the process of commiting

うまくいかなかったので、mapred-site.xml スキーマにプロパティを追加しましたが、上記と同じ結果になりました。

誰かが私に何をすべきか教えてもらえますか?

よろしくお願いします。

ハク

4

2 に答える 2

1

ここの記事によると、 ram がある場合、 io.sort.mb は 10 * io.sort.factor である必要があります。
「core-site.xml」

<property>
<name>io.sort.factor</name>
<value>100</value>
<description>More streams merged at once while sorting files.</description>
</property>  

<property>
<name>io.sort.mb</name>
<value>200</value>
<description>Higher memory-limit while sorting data.</description>
</property>

すべてのノードでもソート係数を変更しようとしています。

于 2013-08-16T06:53:53.110 に答える