問題タブ [snappy]

Java フレームワーク、具体的には Python の外部で Hadoop のシーケンス ファイルを生成する実験を行っています。これを行うためのほぼ同様のフレームワークを提供する python-hadoop モジュールがあります。それを使用してシーケンスファイルを正常に作成しました。生成されたシーケンス ファイルを HDF にコピーして、Hadoop ジョブの入力として使用できます。LZO と Snappy はローカルの Hadoop インストールで完全に構成されており、Java で org.apache.hadoop.io.SequenceFile.createWriter を介して実行すると、これらのアルゴリズムを使用して適切な圧縮シーケンス ファイルを生成できます。

しかし、python-hadoop で (ブロック) 圧縮方式として LZO や Snappy を試してみると、有効なシーケンス ファイルが生成されないようです。このコードと同様のスキームを使用しています。

https://github.com/fenriswolf/python-hadoop/blob/master/python-hadoop/hadoop/io/compress/LzoCodec.py

(ここでは、lzo を Snappy 圧縮用の snappy に置き換えます)、python-hadoop フレームワーク内では、これらのファイルをエラーなしで読み書きできます。ただし、Hadoop では、Hadoop 入力としてフィードすると EOF エラーが発生します。

LZO または Snappy を使用している場合にのみ、この特定のメッセージが一貫して表示されます。

私の疑いでは、Hadoop の LzoCodec と SnappyCodec は、lzo と snappy の Python の実装と同じ方法で生成または読み取りを行っていませんが、どうあるべきかわかりません。

Java Hadoop フレームワークの外部で、これらの圧縮スキームを使用したシーケンス ファイルが適切に生成されない理由はありますか? 繰り返しますが、Gzip、BZip2、または Default を使用している限り、すべてが正常に機能します。

Netty の SnappyFrameEncoder/Decoder を使用する簡単なプログラムを作成しようとしています。サーバー/クライアントに LocalChannels を使用する小さな Java アプリケーションを作成しました。

クライアントは Snappy を使用して文字列をエンコードし、サーバーは文字列をデコードしてコンソールに書き込みます。

別のクライアント/サーバー プログラムに分割しても、StackOverFlow 例外が発生し続けます。

パイプラインから SnappyFramedDecoder と SnappyFramedEncoder をコメントアウトすると、エラーなしで実行され、テスト メッセージが出力されます。

非常に長いテスト メッセージを試しましたが、それでも StackOverFlow 例外が発生します。

誰か助けてくれませんか？私はNettyが初めてです。ありがとうございました！！

私はNetty 4.0.0.CR2を使用しています

これが私のコードです：

ファイルを HDFS に Snappy 圧縮形式で保存しています。ローカルの Linux ファイル システムでこれらのファイルを調べて、ファイルを作成した Hadoop プロセスが正しく実行されていることを確認したいと考えています。

それらをローカルにコピーして Google 標準ライブラリで解凍しようとすると、ファイルに Snappy 識別子がないことがわかります。Snappy 識別子を挿入してこれを回避しようとすると、チェックサムが台無しになります。

別の Hadoop プログラムを作成したり、Hive などを介して渡したりすることなく、これらのファイルを読み取るにはどうすればよいでしょうか?

Ubuntu-12.04、Hadoop-1.0.2、Hive-0.10.0 を使用していますが、ハイブから約 100 万レコードのデータを読み取っています。クエリで以下のエラーが発生しました

$HADOOP_HOME/lib フォルダーに Hadoop 用の Snappy をインストールすると、ファイル libsnappy.a、libsnappy.la、libsnappy.so、libsnappy.so.1、libsnappy.so.1.1.4 が生成されます。

また、$HADOOP_HOME/lib/ に hadoop-lzo-0.4.3.jar を追加し、cor-site.xml、mapred-site.xml を次のように変更します。

コア-site.xml:-

mapred-site.xml :-

しかし、 hive & do を開始するとshow databases、エラーが発生します:-

Hadoop/hbase クラスターで Snappy をセットアップしているときに、次の問題が発生します。libnappy.so と libhadoop.so の両方を $HBASE_HOME_DIR/lib/native/Linux-amd64-64 にコピーしました。ここで何がうまくいかないのか..

snappyを使用して、クライアント側 (javascript コード) からデータを圧縮し、サーバー側に送信し、サーバー側からデータを受信し、クライアント側 (javascript コード) で解凍する必要があります。

懸念 1 :この回答は、ネイティブの JavaScript 実装を高く評価していません。私は何をしますか？

懸念2：誰かがそれをどうやって進めるか、または同じことに関する参考文献を提供していただければ幸いです。

snappy アルゴリズムが新しいリリースまたはバグ修正を取得した場合、どのような影響がありますか? クライアント側の実装を更新するオーバーヘッドを維持する必要がありますか? 助言がありますか... ？