apache-spark - Spark SQL - gzip と snappy と lzo 圧縮形式の違い

Question

Spark SQL を使用してファイルを書き込もうとしていparquetます。

デフォルトでは、Spark SQL は をサポートしていますが、や などgzipの他の圧縮形式もサポートしています。snappylzo

これらの圧縮形式の違いは何ですか?

Answer 1

データで試してみてください。

lzo と snappy は高速な圧縮プログラムと非常に高速な圧縮解除プログラムですが、gzip と比較すると、圧縮率は低くなりますが、gzip は圧縮率が高くなりますが、速度は少し遅くなります。