問題タブ [lzo]

Scalding を HDFS 上の LZO Protobuf データで動作させるための指針はありますか?

バイナリ Protobuf に保存され、Scalding を使用して LZO で圧縮されたファイルを読み込もうとしています。Elephantbird を使用してこれらのファイルを読み取ることはできますか? 任意のポインタをいただければ幸いです！

LzoTraits と LzoProtobufScheme を見ましたか? しかし、データを読み取るためにどのように使用すればよいかわかりませんか? どんな例でも素晴らしいでしょう！

iOS メモリ イメージをデコードしようとしています。iOS と MacOS は LZO 圧縮を使用するようになりました。圧縮された各ページの先頭にマジック ナンバーが配置されていますか? もしそうなら、マジックナンバーは何ですか？

私のテストでtestminiはminizlo、そうではないことが示されています。

S3 に保存されている LZO 圧縮ログファイルで EMR Spark ジョブを実行しています。同じフォルダーにいくつかのログファイルが保存されています。

spark-shell で、ファイル内の行数をカウントするジョブを実行しています。ファイルごとに個別に行数を数えると、たとえば次のように問題はありません。

ワイルドカードを使用してすべてのファイルをワンライナーでロードすると、2 種類の例外が発生します。

例外は次のとおりです。

と

最後の例外で与えられたテキストによって解決策が示唆されているように思えますが、どのように進めればよいかわかりません。LZO ファイルの許容サイズに制限はありますか、それとも何が問題なのですか?

私の質問は、I/O 関連の例外を取得することなく、S3 フォルダー内のすべての LZO 圧縮ファイルをロードする Spark クエリを実行できますか?

1 ファイルあたり約 200 MB の 66 個のファイルがあります。

編集: 例外は、Hadoop2 コア ライブラリ (ami 3.1.0) で Spark を実行している場合にのみ発生します。Hadoop1 コア ライブラリ (ami 2.4.5) で実行すると、問題なく動作します。どちらのケースも Spark 1.0.1 でテストされました。

JavaでLZO圧縮を使用しようとしています。これを行うのに適したライブラリはありますか。lzo-java を試してみましたが、gzip に比べて非常に遅いようです。これを行う最善の方法は何ですか？

Java プログラム内で LZO 圧縮ライブラリを使用しようとしています ( http://www.oberhumer.com/opensource/lzo/ )。データの圧縮と解凍に使用する方法の例は 1 つも見つかりませんでした。誰でもそれを手伝ってもらえますか？どうやらネイティブ コードは Java ではないため、それを使用するためにどのような手順を実行すればよいかわかりません (JNI か何か?!)

圧縮データを解凍しようとしていますが、エラー コードLZO_E_LOOKBEHIND_OVERRUN. このエラーはどういう意味ですか?

ソース コードのコメントと Google でいくつかの結果を確認しましたが、意味がわかりません。

LZO 1x 999 圧縮とこの解凍機能を使用しています。

非常に大きなHiveテーブルのテキスト形式からORC形式に移行しようとしていますが、必要なストレージが少なくなり、クエリが高速になることを期待しています。私たちは資産全体で圧縮として LZO を使用しているので、ORC フォーマットにもそれを使用しようとしていました。

皆さんが提供できる助けに感謝します。

Hadoop 2.4.0 と Hive 0.13.1 を使用しています

以下のリンクによると、ORC 形式で LZO 圧縮を使用できるはずです。

http://2013.berlinbuzzwords.de/sessions/orc-file-improving-hive-data-storage https://hive.apache.org/javadocs/r1.1.0/api/ql/org/apache/hadoop/hive /ql/io/orc/package-summary.html

しかし、私が何かをするとき

以下のエラーが表示されます。