Snappy Compression に関連する HBase の有線の問題を解決しようとしています。以下は、この問題に関連するすべての詳細な説明です。
- 問題の説明: HBase シェルで Snappy 圧縮を使用してテーブルを作成しようとしたとき: (デバッグ モードでの詳細な HBase シェル ログについては、添付ファイルを参照してください)
hbase(main):001:0> create 't3', { NAME => 'cf1', COMPRESSION => 'SNAPPY' }
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/local/solono/package/local_1/Linux-2.6c2.5-x86_64/Hadoop/Hadoop-2140.0-0/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/local/solono/package/local_1/Linux-2.6c2.5-x86_64/Slf4j-log4j12/Slf4j-log4j12-37.0-0/lib/slf4j-log4j12-1.7.6.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
ERROR: java.io.IOException: Compression algorithm 'snappy' previously failed test.
at org.apache.hadoop.hbase.util.CompressionTest.testCompression(CompressionTest.java:85)
at org.apache.hadoop.hbase.master.HMaster.checkCompression(HMaster.java:1772)
at org.apache.hadoop.hbase.master.HMaster.checkCompression(HMaster.java:1765)
at org.apache.hadoop.hbase.master.HMaster.createTable(HMaster.java:1747)
at org.apache.hadoop.hbase.master.HMaster.createTable(HMaster.java:1782)
at org.apache.hadoop.hbase.protobuf.generated.MasterProtos$MasterService$2.callBlockingMethod(MasterProtos.java:40470)
at org.apache.hadoop.hbase.ipc.RpcServer.call(RpcServer.java:2012)
at org.apache.hadoop.hbase.ipc.CallRunner.run(CallRunner.java:98)
at org.apache.hadoop.hbase.ipc.FifoRpcScheduler$1.run(FifoRpcScheduler.java:73)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
at java.lang.Thread.run(Thread.java:745)
- CompressionTest の結果: 圧縮テストを実行すると、成功しました:
[kalidasyan@TestCluster-hbase-linux-host]/solono/env/TestClusterHBase% ./bin/solono-hbase org.apache.hadoop.hbase.util.CompressionTest hdfs://TestCluster-hadoop-nn2.aka.iad. TestCluster.com:9000/user/kalidasyan/hbase/impressions/00/part-m-00074.gz スナッピー
/solono/env/TestClusterHBase/bin/hbase-config.sh: 43 行目: cd: ../../../package/local_1/Linux-2.6c2.5-x86_64/Hbase/Hbase-521.0-0/ bin: そのようなファイルまたはディレクトリはありません
2015-10-02 21:36:12,266 INFO [メイン] Configuration.deprecation: hadoop.native.lib は非推奨です。代わりに、io.native.lib.available を使用してください
SLF4J: クラスパスに複数の SLF4J バインディングが含まれています。
SLF4J: [jar:file:/local/solono/package/local_1/Linux-2.6c2.5-x86_64/Hadoop/Hadoop-2140.0-0/lib/slf4j-log4j12-1.7.5.jar!/org でバインドが見つかりました/slf4j/impl/StaticLoggerBinder.class]
SLF4J: [jar:file:/local/solono/package/local_1/Linux-2.6c2.5-x86_64/Slf4j-log4j12/Slf4j-log4j12-37.0-0/lib/slf4j-log4j12-1.7.6 でバインドが見つかりました。 jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: 説明については、http://www.slf4j.org/codes.html#multiple_bindings を参照してください。
SLF4J: 実際のバインディングのタイプは [org.slf4j.impl.Log4jLoggerFactory] です
2015-10-02 21:36:13,043 INFO [メイン] util.ChecksumType: org.apache.hadoop.util.PureJavaCrc32 を使用したチェックサム
2015-10-02 21:36:13,044 INFO [メイン] util.ChecksumType: チェックサムは org.apache.hadoop.util.PureJavaCrc32C を使用できます
2015-10-02 21:36:13,236 INFO [main] compress.CodecPool: 真新しいコンプレッサーを入手 [.snappy]
2015-10-02 21:36:13,242 INFO [main] compress.CodecPool: 真新しいコンプレッサーを入手 [.snappy]
2015-10-02 21:36:13,457 INFO [メイン] compress.CodecPool: 真新しいデコンプレッサを取得 [.snappy]
成功
- ネイティブ ライブラリ チェックの結果: HBase の Hadoop ネイティブ ライブラリ チェックを実行すると、次のようになります。
[kalidasyan@TestCluster-hbase-linux-host]/solono/env/TestClusterHBase% ./bin/solono-hbase --config ./var/hbase-config org.apache.hadoop.util.NativeLibraryChecker /solono/env/TestClusterHBase/bin/hbase-config.sh: 43 行目: cd: ../../../package/local_1/Linux-2.6c2.5-x86_64/Hbase/Hbase-521.0-0/ bin: そのようなファイルまたはディレクトリはありません 2015-10-04 23:44:09,747 警告 [メイン] bzip2.Bzip2Factory: ネイティブ bzip2 ライブラリ システム ネイティブのロード/初期化に失敗しました。純粋な Java バージョンを使用します 2015-10-04 23:44:09,750 INFO [メイン] zlib.ZlibFactory: 正常にロードされ、ネイティブ zlib ライブラリが初期化されました ネイティブ ライブラリ チェック: Hadoop: 真 /local/solono/package/local_1/Linux-2.6c2.5-x86_64/Hadoop/Hadoop-2140.0-0/lib/libhadoop.so zlib: 真 /lib64/libz.so.1 snappy: true /solono/env/TestClusterHBase/lib/libsnappy.so.1 lz4: 真のリビジョン:99 bzip2: 偽 openssl: 真 /solon/env/TestClusterHBase/lib/libcrypto.so
次の HBase-site.xml プロパティを設定すると、HMaster と RegionServer の両方が起動して正常に動作します。
<property>
<name>hbase.regionserver.codecs</name>
<value>snappy</value>
</property>
- 任意の HBase ホストの HBase シェル プロセス:
kalidasyan 6942 0.7 0.6 10373900 775808 pts/0 Sl+ 21:32 0:15 /solono/env/TestClusterHBase/jdk/bin/java -Dproc_shell -XX:OnOutOfMemoryError=kill -9 %p -Xmx8192m -Dclient.encoding.override=UTF -8 -Dfile.encoding=UTF-8 -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dsun.net.inetaddr.ttl=600 -Dsun.net.inetaddr .negative.ttl=300 -Dsolono.appgroup=productAds -Dorg.mortbay.util.FileResource.checkAliases=true -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/solono/env/TestClusterHBase/var/output/logsheapdump.hprof -XX :+UseConcMarkSweepGC -Dhbase.ruby.sources=/solono/env/TestClusterHBase/lib/ruby -Dhbase.log.dir=/solono/env/TestClusterHBase/var/output/logs -Dhbase.log.file=hbase.log - Dhbase.home.dir=/solono/env/TestClusterHBase -Dhbase.id.str= -Dhbase.root.logger=INFO,console -Djava.library.path=/solono/env/TestClusterHBase/lib/native/Linux-amd64-64 -Dhbase.security.logger=INFO,NullAppender org.jruby.Main -X+O /solono/env/TestClusterHBase/bin/hirb.rb
物件が見れます
「java.library.path=/solono/env/TestClusterHBase/lib/native/Linux-amd64-64」プロセスパラメータから。
また、「ls -l /solono/env/TestClusterHBase/lib/native/Linux-amd64-64」は次のように表示されます。
lrwxrwxrwx 1 root root 92 Oct 2 21:26 libhadoopsnappy.la -> /solono/_env/TestClusterHBase-swit1na.7444503.167194907.744537033/lib/libhadoopsnappy.la
lrwxrwxrwx 1 root root 92 Oct 2 21:26 libhadoopsnappy.so -> /solono/_env/TestClusterHBase-swit1na.7444503.167194907.744537033/lib/libhadoopsnappy.so
lrwxrwxrwx 1 root root 94 Oct 2 21:26 libhadoopsnappy.so.0 -> /solono/_env/TestClusterHBase-swit1na.7444503.167194907.744537033/lib/libhadoopsnappy.so.0
lrwxrwxrwx 1 root root 98 Oct 2 21:26 libhadoopsnappy.so.0.0.1 -> /solono/_env/TestClusterHBase-swit1na.7444503.167194907.744537033/lib/libhadoopsnappy.so.0.0.1
lrwxrwxrwx 1 root root 86 Oct 2 21:26 libhadoop.so -> /solono/_env/TestClusterHBase-swit1na.7444503.167194907.744537033/lib/libhadoop.so
lrwxrwxrwx 1 root root 92 Oct 2 21:26 libhadoop.so.1.0.0 -> /solono/_env/TestClusterHBase-swit1na.7444503.167194907.744537033/lib/libhadoop.so.1.0.0
lrwxrwxrwx 1 root root 86 Oct 2 21:26 libsnappy.la -> /solono/_env/TestClusterHBase-swit1na.7444503.167194907.744537033/lib/libsnappy.la
lrwxrwxrwx 1 root root 86 Oct 2 21:26 libsnappy.so -> /solono/_env/TestClusterHBase-swit1na.7444503.167194907.744537033/lib/libsnappy.so
lrwxrwxrwx 1 root root 88 Oct 2 21:26 libsnappy.so.1 -> /solono/_env/TestClusterHBase-swit1na.7444503.167194907.744537033/lib/libsnappy.so.1
lrwxrwxrwx 1 root root 92 Oct 2 21:26 libsnappy.so.1.1.4 -> /solono/_env/TestClusterHBase-swit1na.7444503.167194907.744537033/lib/libsnappy.so.1.1.4
誰でもこの問題を手伝ってもらえますか? どんな提案や手がかりも大歓迎です!!
前もって感謝します！！