hadoop - Hadoop タスクの進行状況

Question

Hadoop クラスター内のすべてのノードで実行されている各マップ タスクの進行状況を計算する必要があります。処理されたデータのサイズを入力データ全体のサイズで除算することを考えていましたが、タスクのこの情報を取得する方法がわかりません。

TaskStatusclass には methodがあることがわかりますがgetProgress()、その説明はありません。それは私が必要とする価値を提供していますか?

Answer 1

マップ タスクの場合、yesgetProgress()はマッパーが入力ファイルをどのくらい進んだかを返します。reduce タスクの場合、計算はそれほど単純ではありません。 この記事にはかなり良い説明があります。