hadoop - Hadoop 入力分割ダンプ

Question

特定のタスクが失敗した場合、このタスクが実行されている入力分割のダンプを取得して、入力およびリモート デバッグのその部分でジョブをローカルで実行できるようにすることはできますか?

Answer 1

マッパーのセットアップで入力分割に関する情報を書き込むことができます。例FileInputFormat:

    @Override
    protected void setup(Context context) throws IOException, InterruptedException {
        FileSplit inputSplit = (FileSplit) context.getInputSplit();
        System.out.println(inputSplit.toString());
    }