私はクラウド時代の Hadoop 管理者になる道を進んでいます。私が始めて以来、Hadoop クラスター内のマシンごとのスロットの計算についてよく耳にします。たとえば、マップ スロットやリデュース スロットの数を定義するようなものです。
Map Reduce Slot の Noob 定義を取得するためのログ時間をインターネットで検索しましたが、何も見つかりませんでした。
Map Reduce の構成を説明している PDF を見て、私は本当に腹を立てています。
クラスタのマシンのコンピューティング スロットに関して、それが正確に何を意味するのか説明してください。
遅くなりましたが、一応お答えします。
コンピューティング スロット。メモリ/CPU/ディスク サイズなどのリソースを必要とする Hadoop のさまざまな計算について考えてみてください。
リソース = 必要なメモリまたは CPU コアまたはディスク サイズ
コンテナを開始するためのリソースの割り当て、マップまたはリデュース タスクを実行するためのリソースの割り当てなど。
手元にあるリソースをどのように管理するかがすべてです。さて、それは何でしょう？RAM、コア、ディスク サイズ。
目標は、これらのクラスター リソースのいずれによっても処理が制約されないようにすることです。処理をできるだけ動的にしたい。
例として、Hadoop YARN では、YARN コンテナーを開始するために必要な最小 RAM、MAP/REDUCE タスクを開始するために必要な最小 RAM、JVM ヒープ サイズ (Map および Reduce タスク用)、および各タスクが取得する仮想メモリの量を構成できます。 .
Hadoop MR1 とは異なり、Map-Reduce タスクの実行を開始する前に (RAM サイズの例として) 事前構成する必要はありません。ある意味では、リソースの割り当てを可能な限り柔軟にする必要があります。つまり、MAP または REDUCE タスクの RAM/CPU コアを動的に増やします。
一般に、CPU とメモリに依存します
。アウト クラスタでは、32 コア、64 G メモリを搭載したマシンに 20 のマップ スロットと 15 の縮小スロットを設定します
1.おおよそ 1 つのスロットには 1 つの CPU コアが必要
です