1

数百メガバイト、数百万行にも及ぶ非常に大きなファイルを解析する必要があります。FlatPackを使用してこれを実行しようとしています。これを行う方法は、バッファリングされたパーサーと新しいストリーム メソッドを使用することだと思います。ただし、dataset.next() は正しいレコード数に対して true を返しますが、dataset.getRecord() によって返される Optional には値が含まれません。

この例/テストを見てきました が、レコードの数をカウントするだけで、実際にはコンテンツに対して何もしません。例/テスト

4

2 に答える 2

0

DefaultParserFactory と BuffReaderParseFactory の両方の説明は、まったく役に立ちません。どちらのライブラリもPZParser(からnewDelimitedParser) を返すと言われましたが、レコードから実際の値を返すのはそのうちの 1 つだけです。私が見た例に基づいて、BuffReaderParseFactoryパフォーマンスをチェックするためのものであり（したがって、より高速になるはずです）、DefaultParserFactory一方ですべてのレコードが含まれていると思います。

于 2016-04-07T06:57:38.553 に答える
0

DefaultParserFactory の代わりにクラス BuffReaderParseFactory を使用できます。

「next()」を呼び出した場合にのみ、入力ファイルから 1 つのレコードを読み取ります。

于 2015-12-14T18:48:50.907 に答える