0

OSX Mountain Lion でローカルに Hive を実行しようとしており、次の手順に従っています。

https://github.com/twitter/hadoop-lzo

ネイティブ OSX ライブラリと jar をコンパイルしましたが、Hive/Hadoop がネイティブ ライブラリを使用するように、Hive をローカルで起動する方法がわかりません。

JAVA_LIBRARY_PATH 環境変数を介してそれを含めようとしましたが、それは一般的に Hadoop だけのものだと思います。

export JAVA_LIBRARY_PATH="${SCRIPTS_DIR}/jars/native/Mac_OS_X-x86_64-64"

LzopCodec を使用してハイブを実行すると、次のようになります。

SET mapred.output.compression.codec = com.hadoop.compression.lzo.LzopCodec;

map/reduce ジョブを実行するクエリを実行すると、次のエラーが発生します。

SELECT COUNT(*) from test_table;


Job running in-process (local Hadoop)
org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: native-lzo library not available
        at org.apache.hadoop.hive.ql.io.HiveFileFormatUtils.getHiveRecordWriter(HiveFileFormatUtils.java:237)
        at org.apache.hadoop.hive.ql.exec.FileSinkOperator.createBucketFiles(FileSinkOperator.java:477)
        at org.apache.hadoop.hive.ql.exec.FileSinkOperator.processOp(FileSinkOperator.java:525)
        at org.apache.hadoop.hive.ql.exec.Operator.process(Operator.java:471)
        at org.apache.hadoop.hive.ql.exec.Operator.forward(Operator.java:762)
        at org.apache.hadoop.hive.ql.exec.SelectOperator.processOp(SelectOperator.java:84)
        at org.apache.hadoop.hive.ql.exec.Operator.process(Operator.java:471)
        at org.apache.hadoop.hive.ql.exec.Operator.forward(Operator.java:762)
        at org.apache.hadoop.hive.ql.exec.GroupByOperator.forward(GroupByOperator.java:959)
        at org.apache.hadoop.hive.ql.exec.GroupByOperator.closeOp(GroupByOperator.java:995)
        at org.apache.hadoop.hive.ql.exec.Operator.close(Operator.java:557)
        at org.apache.hadoop.hive.ql.exec.ExecReducer.close(ExecReducer.java:303)
        at org.apache.hadoop.mapred.ReduceTask.runOldReducer(ReduceTask.java:530)
        at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:421)
        at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:262)
Caused by: java.lang.RuntimeException: native-lzo library not available
        at com.hadoop.compression.lzo.LzoCodec.getCompressorType(LzoCodec.java:155)
        at org.apache.hadoop.io.compress.CodecPool.getCompressor(CodecPool.java:100)
        at com.hadoop.compression.lzo.LzopCodec.getCompressor(LzopCodec.java:135)
        at com.hadoop.compression.lzo.LzopCodec.createOutputStream(LzopCodec.java:70)
        at org.apache.hadoop.hive.ql.exec.Utilities.createCompressedStream(Utilities.java:868)
        at org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat.getHiveRecordWriter(HiveIgnoreKeyTextOutputFormat.java:80)
        at org.apache.hadoop.hive.ql.io.HiveFileFormatUtils.getRecordWriter(HiveFileFormatUtils.java:246)
        at org.apache.hadoop.hive.ql.io.HiveFileFormatUtils.getHiveRecordWriter(HiveFileFormatUtils.java:234)
        ... 14 more

また、Hive スクリプトで mapred.child.env LD_LIBRARY_PATH を設定しようとしました (うまくいきません)。

SET mapred.child.env="LD_LIBRARY_PATH=../../scripts/jars/native/Mac_OS_X-x86_64-64";
4

1 に答える 1

1

明確な指示をもう一度読む：

これらのクラスを使用するように Hadoop を構成するにはどうすればよいですか?

# Copy the native library
tar -cBf - -C build/hadoop-gpl-compression-0.1.0-dev/lib/native . | tar -xBvf - -C /path/to/hadoop/dist/lib/native

基本的に、ビルドされたネイティブ ライブラリを Hadoop インストールにコピーする必要がありました。

ant compile-native tar
cp -r build/hadoop-lzo-0.4.17-SNAPSHOT/lib/native/Mac_OS_X-x86_64-64 /usr/local/Cellar/hadoop/1.1.2/libexec/lib/native/
于 2013-03-13T06:12:06.720 に答える