gzip - mysqldump パイプ gzip 速度の違い

Question

mysqldump の結果を gzip にパイピングしているのですが、gzip の速度が大幅に遅れているようです

gzip: 34.9MiB 0:01:54 [ 218kiB/s]
mysqldump: 735MiB 0:01:54 [5.73MiB/秒]

2 つの質問:
1. gzip が追いつかない場合、これは最終的にパイプを壊しますか? パイプはこれらすべてのデータをメモリに保持しますか?

2. gzip を高速化するにはどうすればよいですか (-9 と -1 の圧縮オプションについては既に知っています)。

Answer 1

GZIP は CPU バウンドです。したがって、あなたが言ったように圧縮率を下げることはできますが、速度はあまり向上しません。はるかに高速なLZOを試してみてください（圧縮率はそれほど良くありませんが、良いトレードオフであることがわかりました）

ここで良いベンチマークを見つけることができます。reloaded.html

最初の質問については、OS がバッファリングを行いますので、心配する必要はありません。RAM が十分に大きくない場合でも、バッファリングはディスクに書き込みますが、GZIP は依然として遅くなります。

Answer 2

gzip の高速化については、複数のプロセッサ/コアを使用するpigzを試すことができます。