apache-spark - 私はspark 1.4を使用しており、圧縮スナップでorcfileとして保存しようとしていますが、zlibとして保存されます

Question

ここに私のコードがあります:

val df=hiveContext.write.format("orc").options("orc.compression","SNAPPY").save(
"xyz")

ただし、ファイルは ZLIB として保存されます。

Answer 1

追加の conf "spark.io.compression.codec=snappy" を spark-shell / spark-submit に追加してみてください:

spark-shell --conf spark.io.compression.codec=snappy #rest of your command..

また、ORC 形式に書き込む場合 (Spark >= 1.5 を使用していると仮定)、次を使用できます。

myDf.orc("/some/path")

「orc」メソッドは、「.format("orc").save("/some/path")」を実行するのとまったく同じです。