4

mapreduce1 と mapreduce2 の詳細な違いを知りたいです。YARN を含めることで Hadoop に実際に何が追加されますか? Apache Hadoop を学びたい初心者です。誰でもどこから始めればよいか提案できますか。また、Hadoop のクラスタ構成は何ですか。助けてくれてありがとう。

4

2 に答える 2

7

Hadoop2 では、Apache は map/reduce プロセスの管理をクラスターのリソース管理 (YARN = 新しいリソース マネージャー) から分離しました。この分離により、1 つの専門化に対して 2 つのことが可能になります。つまり、YARN は MR1 よりも優れたリソース マネージャーです。また、汎用性も実現します。リソース マネージャーは、map/reduce だけでなく、追加のパラダイムをサポートできます。実際、Tez、Hama、Storm、さらにはHBaseなど、YARN で管理できるものはたくさんあります。

HortonWorks YARN ページをチェックアウトして、Yarn とは何か、またその機能を理解するための出発点としてお役立てください。

于 2013-09-02T18:10:42.060 に答える
4

MR1 アーキテクチャでは、クラスターは JobTracker と呼ばれるサービスによって管理されていました。TaskTracker サービスは各ノードに存在し、ジョブに代わってタスクを起動します。JobTracker は、完了したジョブに関する情報を提供します。

MR2 アーキテクチャでは、古い MR1 フレームワークが書き直され、 YARN上のサブミットされたアプリケーション内で実行されます。このアプリケーションは、MR2、または MapReduce バージョン 2 と名付けられました。これは、よく知られている MapReduce の実行であり、各ジョブは実行フロー (タスクのスケジューリング、投機的実行と失敗の処理など) を処理する独自の ApplicationMaster を介して独自の運命を制御することを除いて異なります。 .)

参照: - http://blog.cloudera.com/blog/2013/11/migrating-to-mapreduce-2-on-yarn-for-operators/

于 2014-07-31T04:53:57.613 に答える