hadoop - データの局所性を維持する Hadoop スケジューラー

Question

いくつかのドキュメントを確認しましたが、データの局所性を維持する Hadoop でのタスク スケジューリングに関して疑問があります。タスクの入力データtがD1で、レプリケーション ファクターが 3 であると仮定すると (つまり、3 つの異なるサーバーに D1 の 3 つのコピーが保存されていることを意味します)、tが到着すると、どのサーバーtに割り当てられますか? （デフォルトのスケジューラを考慮して）。

Answer 1

Hadoop は、使用可能なすべてのマッパー スロットを使用しようとします。データの局所性を維持するタスクを割り当てる方法がある場合は、それを実行します (つまり、D1 のコピーを含む 3 台のサーバーのいずれかに利用可能なマッパー スロットがある場合、そのサーバーに配置しようとします)。これら 3 つのサーバーのすべてのマッパーが占有されているが、使用可能なマッパー スロットを持つ別のサーバーがある場合、タスクはそのマッパーに配置されます。