1

Spark または Flink の実行エンジン (マスター スケジューラ) が各ブロックに適したワーカーをどのように見つけ出すのか疑問に思っています。

namenode はブロックの正確な位置を彼らに伝えることができますが、このタスクは Spark と Flink のジョブ マネージャーによって行われますか、それとも YARN の出番なのでしょうか?

4

1 に答える 1

1

私が言えるのはフリンクだけです。はJobManagerブロック情報を要求し、ブロックHDFS Namenodeタスクの割り当てを計算します。まず、ローカルブロックがそれぞれTaskManger（TM）に割り当てられます。TM にローカル ブロックがない場合は、リモート ブロックが割り当てられます。使用可能なローカル ブロックがなくなった場合は、残りのすべてのブロックがすべての TM に均等に割り当てられます (適切な負荷分散を実現するため)。

于 2015-08-23T10:16:10.070 に答える