6

ソース ファイルを解凍してから (処理後に) 再度 zip (アーカイブ) する必要があります。ファイル サイズは通常、約200 ～ 250 GB (解凍済み、.dat 形式) (合計 96 ファイル) と巨大です。解凍のプロセスには約 2 時間かかり、再び圧縮プロセスには 1:30 から 2 時間かかります。現在、ファイルの解凍には「zcat」コマンドを使用し、ファイルの圧縮には「 gzip -3 」を使用しています。1.5 テラバイトのマウントがあるため、ディスク容量は問題になりません。このプロセスを実行するためのより効率的なモードをいくつか提案してください..

あなたの提案を楽しみにしています、ありがとう - Pushkar。

4

2 に答える 2

6

ディスク容量が問題にならない場合は、決して圧縮しないでください。その後、どちらも解凍する必要はありません。

複数のコアがある場合は、pigzを試して速度を上げることができます。これは、特に圧縮を高速化する gzip の並列実装です。

圧縮に比べて解凍が遅い理由がわかりません。約 3 倍から 10 倍速くなるはずです。あなたがやっていることの実際のコードを提供できますか？そこには何か問題があるに違いない。

ところで、あなたの用語は間違っています。圧縮と解凍は、.gz 形式ではなく、.zip 形式を指します。gzip形式に圧縮して解凍すると言うだけです。

于 2013-10-09T20:23:41.677 に答える