9

私が何をしても、このエラーを取り除くことはできません。snappyは高速であるため、他のオプションよりも好ましい圧縮/解凍ライブラリであることを私は知っています。このライブラリを処理に使用したいと思います。私の知る限り、GoogleはこれをBigTablesのMapReduce(基本的にはすべてのキラーアプリケーション)に内部的に使用しています。私は自分で研究をしました。人々はそれを使用しないか、オプションとしてjava-snappyを使用しないことを提案しますが、私はhadoopsnappyを使い続けたいと思います。セットアップに対応するライブラリがあります。(私はlibの下を意味します)

誰かがこのエラーを修正できますか?このエラーに関係なく、ジョブは正常に実行されていることがわかります。

****hdfs://localhost:54310/user/hduser/gutenberg
12/06/01 18:18:54 INFO input.FileInputFormat: Total input paths to process : 3
12/06/01 18:18:54 INFO util.NativeCodeLoader: Loaded the native-hadoop library
12/06/01 18:18:54 WARN snappy.LoadSnappy: Snappy native library not loaded
12/06/01 18:18:54 INFO mapred.JobClient: Running job: job_201206011229_0008
12/06/01 18:18:55 INFO mapred.JobClient:  map 0% reduce 0%
12/06/01 18:19:08 INFO mapred.JobClient:  map 66% reduce 0%
12/06/01 18:19:14 INFO mapred.JobClient:  map 100% reduce 0%
12/06/01 18:19:17 INFO mapred.JobClient:  map 100% reduce 22%
12/06/01 18:19:23 INFO mapred.JobClient:  map 100% reduce 100%
12/06/01 18:19:28 INFO mapred.JobClient: Job complete: job_201206011229_0008
12/06/01 18:19:28 INFO mapred.JobClient: Counters: 29
12/06/01 18:19:28 INFO mapred.JobClient:   Job Counters 
12/06/01 18:19:28 INFO mapred.JobClient:     Launched reduce tasks=1
12/06/01 18:19:28 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=22810
12/06/01 18:19:28 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0
12/06/01 18:19:28 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0
12/06/01 18:19:28 INFO mapred.JobClient:     Launched map tasks=3
12/06/01 18:19:28 INFO mapred.JobClient:     Data-local map tasks=3
12/06/01 18:19:28 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=14345
12/06/01 18:19:28 INFO mapred.JobClient:   File Output Format Counters 
12/06/01 18:19:28 INFO mapred.JobClient:     Bytes Written=880838
12/06/01 18:19:28 INFO mapred.JobClient:   FileSystemCounters
12/06/01 18:19:28 INFO mapred.JobClient:     FILE_BYTES_READ=2214849
12/06/01 18:19:28 INFO mapred.JobClient:     HDFS_BYTES_READ=3671878
12/06/01 18:19:28 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=3775339
12/06/01 18:19:28 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=880838
12/06/01 18:19:28 INFO mapred.JobClient:   File Input Format Counters 
12/06/01 18:19:28 INFO mapred.JobClient:     Bytes Read=3671517
12/06/01 18:19:28 INFO mapred.JobClient:   Map-Reduce Framework
12/06/01 18:19:28 INFO mapred.JobClient:     Map output materialized bytes=1474341
12/06/01 18:19:28 INFO mapred.JobClient:     Map input records=77932
12/06/01 18:19:28 INFO mapred.JobClient:     Reduce shuffle bytes=1207328
12/06/01 18:19:28 INFO mapred.JobClient:     Spilled Records=255962
12/06/01 18:19:28 INFO mapred.JobClient:     Map output bytes=6076095
12/06/01 18:19:28 INFO mapred.JobClient:     CPU time spent (ms)=12100
12/06/01 18:19:28 INFO mapred.JobClient:     Total committed heap usage (bytes)=516882432
12/06/01 18:19:28 INFO mapred.JobClient:     Combine input records=629172
12/06/01 18:19:28 INFO mapred.JobClient:     SPLIT_RAW_BYTES=361
12/06/01 18:19:28 INFO mapred.JobClient:     Reduce input records=102322
12/06/01 18:19:28 INFO mapred.JobClient:     Reduce input groups=82335
12/06/01 18:19:28 INFO mapred.JobClient:     Combine output records=102322
12/06/01 18:19:28 INFO mapred.JobClient:     Physical memory (bytes) snapshot=605229056
12/06/01 18:19:28 INFO mapred.JobClient:     Reduce output records=82335
12/06/01 18:19:28 INFO mapred.JobClient:     Virtual memory (bytes) snapshot=2276663296
12/06/01 18:19:28 INFO mapred.JobClient:     Map output records=629172

PS:現在、私は高速の圧縮と解凍が実際には重要ではない小さなデータセットで作業しています。ただし、ワークフローが機能するようになったら、大きなデータセットをロードします。

4

1 に答える 1

2

snappy の共有ライブラリ (.so) がLD_LIBARAY_PATH/にない場合、このエラー メッセージが表示されますjava.library.path。ライブラリが正しい場所にインストールされている場合、上記のエラー メッセージは表示されません。

.so が Hadoop ネイティブ ライブラリと同じフォルダにインストールされている場合 ( libhadoop.so)、上記の「エラー」は、ジョブを送信しているノードに関連している可能性があります (あなたが言うように、ジョブはエラーにならず、これはクライアント側のメッセージのように見えます)。

ジョブ構成の詳細を共有できますか (出力形式と関連する圧縮オプションを構成する場所)。

于 2012-06-04T11:18:54.443 に答える