java - 複数行にまたがるレコードを処理するpig用のカスタムローダーを作成しようとしていますが、レコードの途中で分割が発生しないようにするにはどうすればよいですか？

Question

ブタ用のカスタムローダーを書いています。複数行にまたがる可能性のある区切られたレコードを読み取ることになっています。レコードの途中で分割が発生し、すべてが台無しになることを除いて、すべてが機能します。RecordReaderとInputFormatはファイルが分割される場所に関係していることは知っていますが、私の場合、それを機能させる方法を理解できません。私には、CSVExcelStorageにも同じ問題があるように見えますが、これを処理するコードが見つかりません。

Answer 1

CSVExcelStorage は、改行文字が埋め込まれていないことを前提として動作するため、改行文字を処理するコードはありません。

ここで RecordReader が犯人であるというのは正しいです。データを理解する新しいレコード リーダー クラスを作成する必要があります。したがって、どの改行文字が分割位置の候補であり、どの改行文字が単にデータの一部であるかを理解します。新しいレコード クラスを作成したら、そのレコード リーダー クラスを使用するために新しい InputFormatType が必要になります。