ストラグラーの問題とこの問題の論文に関して、hadoop と mapreduce について検索してい
ましたが、昨日、Yarn を使用した Hadoop 2 があることがわかりました。
残念ながら、Yarn のストラグラーの問題について話している論文はありませ
ん。一部ストラグラーのMapReduceとYarn?糸はストラグラー問題に苦しんでいますか?
また、MRmaster がリソース マネージャーにリソースを要求すると、リソース マネージャーは MRmaster に必要なすべてのリソースを提供しますか、それともクラスター コンピューティング機能に従っていますか?
本当にありがとう、、
15368 次
4 に答える
0
ストラグラーの問題の場合、最初の男が「何か」を待っていると、その最初の男に依存する道路に沿ってさらに多くの待機が発生する場合、MRの仕事には常にこの問題があると思います. 割り当てられたリソースを取得することは、コンポーネントに何かを待機させる可能性のある他のすべてのものとともに、当然この問題に関与します。
MR ジョブ ランタイムのドロップイン代替となるはずの Tez は、物事を別の方法で行います。現在の MR Appmaster と同じ方法でタスクを実行する代わりに、タスクの DAG を使用しようと試みます。
MR と YARN の関係を理解する必要があります。YARN は単なるダミーのリソース スケジューラであり、「タスク」をスケジュールしないことを意味します。MR Appmaster に提供されるのは、セットまたはリソースです (ある意味では、メモリと CPU と場所の組み合わせにすぎません)。これらのリソースをどうするかを決定するのは、MR Appmaster の責任です。
于 2014-11-16T12:26:54.187 に答える