java - java.io.IOException: LZO コーデックが見つからないため、実行できません

Question

ハイブ スクリプトで lzo を使用しようとしましたが、このエラー メッセージが表示されました。クラスパスにlzoのクラスがないようでした。

他の誰かが以前にこの問題に遭遇しましたか、この問題を修正する方法、おそらく私が知る必要があるのは、lzo 圧縮用の jar ファイルを入手できる場所、thx.

Answer 1

ノードの 1 つ (またはすべて) で Lzo 構成が正しくありません。

次の構成を core-site.xml に追加します。

<property> 
  <name>io.compression.codecs</name> 
  <value>org.apache.hadoop.io.compress.DefaultCodec,com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec</value> 
</property> 
<property> 
  <name>io.compression.codec.lzo.class</name> 
  <value>com.hadoop.compression.lzo.LzoCodec</value> 
</property> 

Answer 2

ここでは、LZO 圧縮のセットアップ方法に関する詳細な手順を示します。