開発/デバッグのためにローカル マシンからアクセスする Hadoop クラスターがあります。ローカル ボックスに Hadoop がインストールされていません。代わりに、クライアント ライブラリを使用します (Maven、FWIW 経由)。
私は現在、Snappy 圧縮で圧縮されたいくつかの SequenceFiles を読み込もうとしています。「native snappy library not available」というエラーが表示されます。これまでのところ、これを解決するために私が見つけたすべての情報は、クライアント マシンに完全な Hadoop がインストールされていることを前提としているようです。それらはすべて、Hadoop ディレクトリの下に配置するlibhadoop.soことについて話していlibsnappy.soます。lib/native私の開発マシンには、Hadoop ディレクトリがありません。
Hadoop のフル インストールを実行できると思いますが、もっと簡単に実行できるかどうか知りたいです。これまでのところ、プロセスにこれらのライブラリを発見させるためのさまざまな試みが失敗しました。私はまだ正しい設定にたどり着いていないかもしれませんが、Snappy の使用を取り巻くすべてのドキュメントとスレッドに基づいて、それが可能か (または少なくとも簡単か) はわかりません。