hadoop - 異なるディレクトリから特定の入力ファイルにタグを付ける方法

Question

MapReduce ジョブへの入力として 2 つのディレクトリ セット (dirA とdirt としましょう) を読み込んでおり、マップ フェーズ中にどれがどれであるかがわかるように、何らかの方法でそれらに異なるタグを付ける必要があります。何かアドバイス？

Answer 1

MultipleInputsを使用して調査し、入力パスごとに異なるマッパーを定義するか、入力分割 ( Context.getInputSplit() - FileSplit にキャストしてパスを取得) を調べ、それに応じて出力を調整できます。