2

hadoopのマップタスクは、入力ファイルの64/128MB分割で機能します。入力分割の1行目から最後まで処理を開始します。マップタスクが入力分割の処理をいつ完了したかを知る方法を見つける必要があります。つまり、シャッフルと並べ替えが始まる前です。私の質問に答えることができるhadoopライブラリのメソッドはありますか？

4

1 に答える 1

5

クラスのcleanupメソッドをMapper使用すると、マッパーが入力分割の処理を完了したときにコードを実行できます。メソッドをオーバーライドするのと同じ方法でコードをオーバーライドするだけですmap。

それがあなたが求めているものではない場合、多分Counterあなたの問題を解決することができますか？

于 2012-04-26T06:31:11.657 に答える