1

検索用に lucene を介してデータがインデックス化されるユース ケースを用意します。12 時間ごとに、現在のインデックスが zip にアーカイブされ、新しいインデックスが新たに開始されます。データの流入率が非常に高いため、ストレージを確保するために圧縮を行う必要があります。検索中の圧縮と解凍には java.util.zip を使用します。

ここでの問題は、誰かが過去 1 週間のデータを検索すると、解凍に膨大な時間がかかることです。解凍するためのより良い、より高速な方法を誰かが私に提案できれば素晴らしいことです. 7-zip の LZMA を検討していますが、いくつかの入力は非常に役立ちます。同時に、圧縮は正しいアプローチですか? 私はそれを選択できますか？Java コード ベースがあり、あなたの入力を待っています。

4

2 に答える 2

4

LZMAの方が圧縮率は高くなりますが、解凍はさらに遅くなります。

より高速な解凍を行うために、反対方向に進んで、あまり良くない圧縮を受け入れることができます。あなたはそのためにlz4を見ることができます。約4〜5倍の速さで解凍しますが、約50％大きくなります（マイレージは異なる場合があります）。lz4には高圧縮（HC）モードがありますが、これは圧縮により多くの時間を費やし、より優れたパフォーマンスを発揮しますが、それでも非常に高速に解凍します。

于 2012-08-29T17:00:54.363 に答える
1

次のライブラリは、同様の圧縮率で lzma よりも高速に解凍します

http://code.google.com/p/lzham/

于 2013-02-15T15:28:01.330 に答える