問題タブ [lzo]

こんにちは私はlzoとlzfについて聞いたのですが、それらはすべて圧縮アルゴリズムのようです。それらは同じものですか？それらのような他のアルゴリズム（軽くて速い）はありますか？

私の投稿を読んでいただき、誠にありがとうございます。

サーバー (Xeon CPU を実行) の HBase に LZO 2.03 圧縮コーデックをインストールしようとしています。現在、HBase 0.90.2 で Hadoop 0.20.1 を実行しています。

http://wiki.apache.org/hadoop/UsingLzoCompressionのガイドラインに従いました。そして、LZO ネイティブ コネクタ (Hadoop-GPL-Compression) をhttp://code.google.com/p/hadoop-gpl-compression/からダウンロードしました。

を使用してlzoライブラリをインストールしました./configure --prefix=/home/ckwon/wks/test/lzo_lib_x64 --enable-shared --disable-asm --build=x86_64-pc-linux-gnu

（make installカスタムディレクトリに）。

そして、すべての LZO ライブラリ ファイルと GPL 圧縮ファイル (native/ を含む) を $HADOOP_HOME/lib/ と $HBASE_HOME/lib にコピーしました。

次に、次のスクリプトを使用して bin/hbase org.apache.hadoop.hbase.util.CompressionTest を実行しました。

そして、それは生成しています

i386 アセンブリ コードを無効にして x86_64-pc で LZO ライブラリを再構築しようとしましたが、それでもエラーが発生します。

私はどんな提案にも感謝します。

クライアントのJSONを生成するサーバー側プログラムがあります。私の同僚の何人かは、ネットワークを介して送信するデータの量を減らすために、zip/gzip圧縮を使用することを提案しました。ただし、私の平均的なJSONメッセージの1つに対してテストした場合、両方とも実際に送信されるデータの量を増やしました。私が異常に大きな応答を送信するまで、ジッピングが開始されて有用でした。

それで私はstackoverflowを突っ込み始めました、そして私は最終的にLZOを見つけました、それはテストされたとき、私がしたいことを正確に実行しました。ただし、アルゴリズムの実行時のドキュメントが見つからないようです。また、コードに腰を下ろして自分で理解するのに十分ではありません:)

tl; dr？LZOの実行時間？

lzo-net（http://lzo-net.sourceforge.net/）で使用するためにlzo.dllファイルの新しいバージョンを探しています。鉱山は2004年からです。

最新のファイルは2.0.6である必要があります（http://www.oberhumer.com/opensource/lzo/download/）

しかし、私はビジュアルスタジオしか持っておらず、コンパイルは機能していません。走る

しかし、エラーメッセージしか表示されません。

lzo.dllの最新のx86バージョンはどこでダウンロードできますか？

圧縮速度を他の多くのツール（SharpZipLip、DotNetZip、ManagedQLZ、QuickLZSharp、MiniLZO、Deflate、SevenZip）と比較しましたが、私のアプリケーションではlzoが最速です。

ですから、入手可能な最新バージョンを使用するのが最善だと思います。たぶん、役立つ他の改善やバグ修正があります。

次のエラーが発生します：

それで、私はこれについてオンラインでいくつかのチュートリアルを見てきましたが、それぞれが何か違うことをするように言っているようです. また、それらのそれぞれは、リモートクラスターで物事を機能させようとしているのか、リモートクラスターとローカルにやり取りしようとしているのかなどを指定していないようです...

つまり、私の目標は、lzo ファイルを操作するように既にセットアップされている Hadoop クラスター上に存在する lzo 圧縮ファイルを pig が操作できるように、ローカル コンピューター (Mac) を取得することです。既に Hadoop をローカルにインストールしており、クラスターからファイルを取得できます hadoop fs -[command]。

また、既に pig をローカルにインストールしており、スクリプトを実行するとき、または grunt を介して何かを実行するときに、hadoop クラスターと通信しています。lzo 以外のファイルを問題なく読み込んで再生できます。私の問題は、lzo ファイルをロードする方法を見つけるという点だけです。たぶん、クラスターの ElephantBird のインスタンスを介してそれらを処理できますか? 私にはわからず、オンラインで最小限の情報しか見つかりませんでした。

したがって、これに対する短いチュートリアルや回答は素晴らしいものであり、私だけでなくより多くの人々を助けることを願っています.

ハイブ スクリプトで lzo を使用しようとしましたが、このエラー メッセージが表示されました。クラスパスにlzoのクラスがないようでした。

他の誰かが以前にこの問題に遭遇しましたか、この問題を修正する方法、おそらく私が知る必要があるのは、lzo 圧縮用の jar ファイルを入手できる場所、thx.

python-lzo-1.08をインストールする必要があります。gz-fileから実行しようとすると、エラーが発生します：
NameError: name 'CURL_DIR' is not defined
OS：win7
Windowsインストーラーが見つかりません（googleはgzまたはmsi / exeへのリンク切れのみを取得します）。
多分誰かがこのファイルを持っていますか？シェアしてください！（sergiy.panasyuk88@gmail.com）または、「名前'CURL_DIR'が定義されていません」というエラーのヘルプ。

ありがとう！

[更新]私はそれ以来正常にコンパイルされており、これらのバイナリを追いかけている他の人はここからダウンロードできます

Visual Studioコマンドプロンプト（2010）から次のコマンドを発行して、バージョン2.06のlzoをコンパイルしています。

これはエラーなしでlzo2.dllを生成しますが、私の32ビットC＃アプリはメソッドを参照して呼び出すことができるため、これは実際には64ビットdllを生成したようには見えません（正常に）

64ビットバージョンをコンパイルするにはどうすればよいですか？

この質問に対するコメントの一部は、質問が変更されたため古くなっている可能性がありますが、より複雑になったときに元の質問に戻したので、回答を回答としてマークすることができました

LZO同様のアルゴリズムを使用する場合の圧縮率の妥当な最小圧縮ブロックサイズはどれくらいですか？32Bの圧縮は役に立たないと思いますが、512Bの圧縮は良いかもしれません。私は遠すぎますか？「自分で答えを確認」しないでください:)

Hbase の LZO 圧縮をセットアップしようとしています。しかし、build.xml の作成中に問題が発生します。ログは以下のとおりです。

それでも、私は JAVA_HOME を適切に設定していますが、それでも奇妙なエラーが発生しています。