hadoop - マッパークラスインスタンスの寿命

Question

マッパークラスインスタンスが作成され、1つのInputSplit（またはマッパータスク）に使用されますか？または、複数のマッパークラスインスタンスが1つのInputSplit（またはマッパータスク）を処理できますか？

Answer 1

各入力分割はマッパーに渡され、マッパーは 1 つの入力分割のみを処理します。

ただし、マッパーの投機的実行がオンになっている場合は、異なるノード上の 2 つのマッパーによって入力分割を並行して実行できます (投機的実行をトリガーする特定の条件があり、それらをググることができるはずです)。

また、マップ タスクが失敗した場合、入力分割は、別のマップ タスクとして別のクラスター ノードで実行されるようにスケジュールされます。