hadoop - カスタムFileInputFormatの使用

Question

ファイルを単一のレコードとしてマッパーに送信するカスタムFileInputFormatを作成する方法カスタムFileInputFormatを使用した例を教えてください

Answer 1

次のオーバーライドでカスタム ファイル入力形式を使用する場合:

        @Override
        protected boolean isSplitable(JobContext context, Path filename) {
            return false;
        }

この例は、hadoop ソース コードMultiFileWordCountにあります。その例では、分割を避けるために、上記のオーバーライドされた「isSplitable」メソッドを「CustomInputFormat」に追加します。

「isSplitable」を MultiFileWordCount の例に組み込む方法の要点を次に示します。バニラ Hadoop API を使用します。