hadoop - hortonworks hadoop で RAM サイズを縮小する際のエラー

Question

仮想ボックスの RAM サイズを 4 GB から 1 GB に縮小する必要があります。縮小しようとしましたが、変更できないので、正しい方法でそれを行う方法を提案してください。スクリーンショットを添付しています。

Answer 1

Hadoop を試したときに同じエラーが発生しましたが、これらを使用できるようになりました。YARN の構成 Hadoop クラスターでは、これらのクラスター リソースのいずれによっても処理が制約されないように、RAM、CPU、およびディスクの使用量のバランスをとることが重要です。一般的な推奨事項として、ディスクごとおよびコアごとに 1 ～ 2 個のコンテナーを許可すると、クラスター使用率の最適なバランスが得られることがわかりました。したがって、12 個のディスクと 12 個のコアを持つクラスター ノードの例では、各ノードに最大 20 個のコンテナーを割り当てることができます。クラスター内の各マシンには 48 GB の RAM があります。この RAM の一部は、オペレーティング システムで使用するために予約する必要があります。各ノードで、YARN が使用するために 40 GB の RAM を割り当て、オペレーティング システム用に 8 GB を保持します。次のプロパティは、YARN がノードで使用できる最大メモリを設定します。

<name>yarn.nodemanager.resource.memory-mb</name>

<value>40960</value>

次のステップは、使用可能なリソースの合計をコンテナーに分割する方法について、YARN ガイダンスを提供することです。これを行うには、コンテナに割り当てる RAM の最小単位を指定します。最大 20 個のコンテナーを許可したいので、(合計 40 GB の RAM) / (20 個のコンテナー) = コンテナーごとに最小 2 GB が必要です。

 <name>yarn.scheduler.minimum-allocation-mb</name>

 <value>2048</value>

YARN は、yarn.scheduler.minimum-allocation-mb よりも大きい RAM 量でコンテナーを割り当てます。詳細については、 hortonworks.com/blog/how-to-plan-and-configure-yarn-in-hdp-2-0/をご覧ください。