巨大な CSV ファイルを LZ4 圧縮 API にフィードする最良の方法は何ですか? 以下は、非常に大きなファイルには最適ではありません。
byte[] data = file.getBytes();
巨大な CSV ファイルを LZ4 圧縮 API にフィードする最良の方法は何ですか? 以下は、非常に大きなファイルには最適ではありません。
byte[] data = file.getBytes();
https://github.com/flanglet/kanziを試すことができます。ブロック コンプレッサーは InputStream を受け取り、それをブロックに分割します (コマンド ラインでサイズを指定します)。
Wiki から、次のようなことができます。
java -cp kanzi.jar kanzi.app.BlockCompressor --input=myFile.csv --output=myFile.knz --overwrite --block=8M --transform=lz --entropy=none