9

私の YARN クラスターのノードには、64 GB のメモリと 24 のコアがあります。yarn-site.xml で次のプロパティを設定します。

<property>
  <name>yarn.nodemanager.resource.memory-mb</name>
  <value>32768</value>
</property>
<property>
  <name>yarn.nodemanager.resource.cpu-vcores</name>
  <value>16</value>
</property>

しかし、ノードの nodemanager にはまだ 7 つのコンテナーしかないことがわかりました。設定する必要があるその他のプロパティは何ですか?

4

2 に答える 2

17

メモリをコンテナに分割する方法を YARN に伝える必要があります。たとえば、コンテナあたりのメモリを 2GB に設定すると、16 個のコンテナが得られます。

<name>yarn.scheduler.minimum-allocation-mb</name>
<value>2048</value>
于 2013-11-16T19:22:47.713 に答える
0

次のようなものを試してください：

  <property>
    <name>mapreduce.map.memory.mb</name>
    <value>1024</value>      
  </property>

  <property>
    <name>mapreduce.reduce.memory.mb</name>
    <value>2048</value>      
  </property>
于 2014-07-21T09:00:06.323 に答える