java - Hadoop MR ジョブに追加された入力ファイルの数を取得する

Question

FileInputFormat.addInputPath および FileInputFormat.addInputPaths への呼び出しの一部として追加した入力ファイルの数を取得するにはどうすればよいですか。何らかのパターンに一致する入力ファイルを追加しようとしていますが、パターンに一致するファイルがなく、この MR ジョブの入力ファイルがない場合は、ユーザーにメッセージをログに記録し、ジョブをまったく送信したくありません。

ありがとう、

ベンカット

Answer 1

FileInputFormatmapred.input.dirConfigurationという変数にデータを格納するため、以下を使用できます。

Configuration conf = job.getConfiguration();
String dirs = conf.get("mapred.input.dir");
String[] arrDirs = dirs.split(",");
int numDirs = arrDirs.length;

これを行うソース コードの関連部分は次のとおりです。

conf.set("mapred.input.dir", dirs == null ? dirStr : dirs + "," + dirStr);