hadoop - Hadoop ジョブに関する情報をファイルに保存する

Question

私は Hadoop を初めて使用するので、共通の出力ファイルに書き込み、最近実行されたジョブに関するメタデータを保存する方法を知りたいと思っていました。

現在、ファイル a,b,c および d を処理している場合; 処理されたファイルの数に関する情報を追加するカスタム カウンターがありますが、処理されたすべてのファイル名も知りたいと思いました。

それを行うための最良の方法について何かコメントはありますか? 分散キャッシュは役に立ちますか?

Answer 1

Context.setStatus

役立ちます？

そのように使用します：

Context.setStatus("Processed "+file);