問題タブ [hadoop-native-library]

hadoop-2.4.1 で使用するために hbase-0.98-6-hadoop2 をインストールしましたが、hbase シェルを起動すると、次のメッセージが表示されます。

Configuration.deprecation: hadoop.native.library は非推奨です。代わりに、io.native.lib.avaiable を使用してください

このようなメッセージが単なるログ情報であることはわかっていますが、そのような問題を解決するために何ができるか知りたいです。私は多くのことを試しましたが、基本的にはすべて $HADOOP_INSTALL/lib/native をクラスパス、java.library.path、および LD_LIBRARY_PATH に入れることでした。それらのどれも問題を解決できませんでした。

それを手伝ってくれる人はいますか？

ありがとう

Apache Spark で LZ4 圧縮を使用しようとしていますが、通常のtextFile方法で十分であることを理解しています。ただし、圧縮されていないファイルをロードするとすべてが期待どおりに機能しますが、lz4 圧縮すると出力が空になります。

問題が圧縮と解凍の方法に関連しているかどうか疑問に思っています。Java ライブラリhttps://github.com/jpountz/lz4-javaバージョン 1.3.0 (lz4 バージョン 123) を使用してファイルを圧縮しています。ただし、Spark ワーカーがインストールされているマシンには、他のバージョン用の Hadoop ネイティブ ライブラリがあります。コマンドを実行してそれらを確認すると、次のように表示されます。

次に、lz4.so ライブラリをインストールするためにインストールする RPM は次のとおりです。

http://rpm.pbone.net/index.php3/stat/4/idpl/28577074/dir/redhat_el_6/com/lz4-r127-1.el6.x86_64.rpm.html

ご覧のとおり、LZ4 の 3 つの異なるバージョンがあるようですが、同じバージョンを見つけることができません。私の最初の質問は、同じバージョンを持っていなくても、これは機能するのでしょうか?

そうでない場合、Spark のネイティブ ライブラリを正しく構成して lz4 圧縮ファイルを理解するにはどうすればよいですか?

私は Spark 1.1.0 を使用しており、--driver-library-pathwith経由でネイティブ ライブラリの場所を渡していますspark-submit。

Mac OS X で、圧縮コーデックが Hadoop の場合、次のエラーが発生します。

しかし、ネイティブ ライブラリを構成しました。(ローカルで Hadoop をビルドし、ネイティブ ライブラリを Hadoop ディレクトリにコピーしました。

したがって、ネイティブ ライブラリは問題ないようです。

PS: B2ZIPCodec を使用すると、すべて正常に動作します。

PSS: 私の .profile は、何が起こっているのかを理解するのに役立つでしょうか?

更新この構成は、半年前に正常に機能しました。いくつかのソフトウェア更新後、壊れました。

Mac "OSX El Capitan" に hadoop-2.7.2 をインストールしようとしたところ、ネイティブ ライブラリに関連するエラーが発生しました。

インストールには、コマンド hadoop brew install を使用しました。必要な構成変更をすべて行いましたが、解決策はありませんでした。この後、Apache Web サイトで入手可能なパッケージを使用して Hadoop をインストールしようとしましたが、それでもネイティブ ライブラリに関連する同じ問題に直面しています。

hadoopgithub からソース コードをダウンロードし、native次のオプションでコンパイルしました。

次に、 .dylibファイルを $HADOOP_HOME/lib にコピーしました

LD_LIBRARY_PATH が更新され、hdfs が再起動されました。

(注: これは、docker-spark? での Hadoop の「プラットフォームのネイティブ Hadoop ライブラリをロードできません」というエラーに対する回答がうまくいかないことも意味します。)

しかし、checknativeそれでも均一に返されますfalse:

Java HotSpot(TM) クライアント VM 警告: ライブラリ /home/happyhadoop/hadoop-2.7.3/lib/native/libhadoop.so.1.0.0 をロードしましたが、スタック ガードが無効になっている可能性があります。VM はスタック ガードの修正を試みます。ライブラリを「execstack -c」で修正するか、「-z noexecstack」でリンクすることを強くお勧めします。17/04/30 21:30:01 警告 util.NativeCodeLoader: お使いのプラットフォームのネイティブ Hadoop ライブラリを読み込めません... 該当する場合は組み込み Java クラスを使用していますプロセス 13997 として。最初に停止します。happyhadoop@localhost のパスワード: localhost: プロセス 14153 として実行されているデータノード。最初に停止します。セカンダリ ネームノード [0.0.0.0] の開始 happyhadoop@0.0.0.0 のパスワード: 0.0.0.0: プロセス 14432 として実行中の secondarynamenode。最初に停止してください。Java HotSpot(TM) クライアント VM 警告: ライブラリ /home/happyhadoop/hadoop-2.7.3/lib/native/libhadoop.so.1.0.0 をロードしましたが、スタック ガードが無効になっている可能性があります。VM はスタック ガードの修正を試みます。ライブラリを「execstack -c」で修正するか、「-z noexecstack」でリンクすることを強くお勧めします。17/04/30 21:30:36 警告 util.NativeCodeLoader: プラットフォームのネイティブ Hadoop ライブラリをロードできません... 該当する場合は組み込み Java クラスを使用します ライブラリを「execstack -c」で修正するか、「-z noexecstack」でリンクすることを強くお勧めします。17/04/30 21:30:36 警告 util.NativeCodeLoader: プラットフォームのネイティブ Hadoop ライブラリをロードできません... 該当する場合は組み込み Java クラスを使用します ライブラリを「execstack -c」で修正するか、「-z noexecstack」でリンクすることを強くお勧めします。17/04/30 21:30:36 警告 util.NativeCodeLoader: プラットフォームのネイティブ Hadoop ライブラリをロードできません... 該当する場合は組み込み Java クラスを使用します

誰かがこの警告について私を助けてくれますか?