hadoop - Cloudera Manager: MapReduce ジョブの Java ClassPath はどこに配置すればよいですか?

Question

ローカルの疑似クラスターで Hadoop-Lzo が問題なく動作していますが、本番環境で同じ jar ファイルを 2 番目に試すと、次のようになります。

java.lang.RuntimeException: native-lzo library not available

ライブラリは DataNodes 上にあることが確認されているので、私の質問は次のとおりです。

native-lzo ライブラリの場所はどの画面/設定で指定しますか?

Answer 1

MapReduce の場合、エントリを MapReduce Client Environment Safety バルブに追加する必要があります。Configurationの下のView and Editタブに移動すると、 MapReduce Client Safetyを見つけることができます。次に、これらの行をそこに追加します。

• HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/opt/cloudera/parcels/HADOOP_LZO/lib/hadoop/lib/*
• JAVA_LIBRARY_PATH=$JAVA_LIBRARY_PATH:/opt/cloudera/parcels/HADOOP_LZO/lib/hadoop/lib/native

また、MapReduce Service の下の io.compression.codecs プロパティに LZO コーデックを追加します。これを行うには、[構成] の下の [表示および編集] タブの下にあるio.compressionと次の行に移動します。

• com.hadoop.compression.lzo.LzoCodec
• com.hadoop.compression.lzo.LzopCodec

変更を行った後、MR デーモンを再起動することを忘れないでください。再起動したら、MR クライアント構成を再デプロイします。

LZO の使用方法に関する詳細なヘルプについては、次のリンクにアクセスしてください: http://www.cloudera.com/content/cloudera-content/cloudera-docs/CM4Ent/latest/Cloudera-Manager-Installation-Guide/cmig_install_LZO_Compression.html

HTH

Answer 2

sudo apt-get install lzopTaskTracker ノードで試してください。