問題タブ [snappy]

Hadoop 2.4 で Oryx を実行しようとしています。Hadoop が正常に起動し、次の警告が表示されます。

WARN util.NativeCodeLoader: お使いのプラットフォームのネイティブ Hadoop ライブラリをロードできません... 該当する場合は組み込みの Java クラスを使用してください。

オリックスも無事始動。しかし、データを取り込むと、次の例外がスローされます:

2014-08-22 14:35:05,835 エラー [37788 の IPC サーバー ハンドラー 3] org.apache.hadoop.mapred.TaskAttemptListenerImpl: タスク: 試行_1408697508855_0002_m_000000_0 - 終了: org.apache.hadoop.util.NativeCodeLoader.buildSupports2Snappy() -08-22 14:35:05,835 INFO [37788 の IPC サーバー ハンドラー 3] org.apache.hadoop.mapred.TaskAttemptListenerImpl: attempts_1408697508855_0002_m_000000_0 からの診断レポート: エラー: org.apache.hadoop.util.NativeCodeLoader.buildSupportsSnappy4()Z 201 -08-22 14:35:05,837 INFO [AsyncDispatcher イベント ハンドラー] org.apache.hadoop.mapreduce.v2.app.job.impl.TaskAttemptImpl: Attempt_1408697508855_0002_m_000000_0 からの診断レポート: エラー: org.apache.hadoop.util.NativeCodeLoader。 buildSupportsSnappy()Z 2014-08-22 14:35:05,840 INFO [AsyncDispatcher イベント ハンドラー] org.apache.hadoop.mapreduce.v2.app.job.impl.TaskAttemptImpl:Attempt_1408697508855_0002_m_000000_0 TaskAttempt が RUNNING から FAIL_CONTAINER_CLEANUP に遷移しました

誰かが以前にそのような問題に直面したことがありますか? どんな種類の助けもかなりのものです！

私はLZ4ライブラリを使用しており、データを解凍するときに

解凍後の最大データサイズを見積もりたい。しかし、私はの逆関数を見つけることができません

maxDecompressedSizeこれにより、解凍関数の最後のパラメーターに提供する解凍データの上限を決定できます。

たとえば、snappyなどの他の圧縮ライブラリは、そのような機能を提供します。

初期データ サイズ (圧縮前) を保存する機能がない場合、および割り当てる必要があるバッファーのサイズについて悲観的になりたくない場合はどうすればよいですか?

Hadoop サーバーに DataNode をインストールしようとすると、次のエラーが表示されます。

誰でもこれを解決するのを手伝ってもらえますか?

ありがとうございました。

snappy-java を使用してバイト文字列を解凍しようとしています

これには 2 つのフレームが含まれ、最初はチャンク値 0xff (ストリーム識別子) で長さ 6 で、2 番目のフレームは長さ 14 のチャンク タイプ 1 (非圧縮) です。[こちら] ( http://code. google.com/p/snappy/source/browse/trunk/framing_format.txt )

解凍に使用するコードはこちら

コードは、jna の一部である FAILED_TO_UNCOMPRESS エラーをスローします。私はscala v2.11.3とsnappy-java v1.0.5.4を使用しています

私たちのアプリケーションでは、次のような構造を持つ JSON ドキュメントを Couchbase に保存しています。

{ "type": "sometype", "timestamp": 1458999, "data": "{\"key1\":\"val1\", \"key2\":\"val2\"}" }

dataフィールドの値stringifiedは非常に巨大な json ドキュメントで、約 5 ～ 10 MB のテキストです。アプリケーションのさまざまなレイヤーを移動するときにシリアル化/逆シリアル化を受けないように、json サブドキュメントの代わりに文字列 (文字列化された json) として配置しました。 .

懸念は、ディスクへの書き込み中に、couchbase が文字列化された json を圧縮することです。カウチベース圧縮が一種のテキスト圧縮なのか、それとも json ドキュメントのみを圧縮できる圧縮なのか、よくわかりません。

使用: Amazon Aws Hive (0.13)
しようとしています: スナップ圧縮で orc ファイルを出力します。

問題は、mybucket ディレクトリの出力を見ると、SNAPPY 拡張子が付いていないことです。ただし、バイナリファイルです。これらの orc ファイルを圧縮して SNAPPY 拡張子で出力するように変換するために、どの設定を見逃していますか?

いくつかの処理後にSparkを使用する場合、結果をファイルに保存し、簡単なコードでスナッピーコーデックを使用します:

その後、Spark を使用してこのフォルダー ファイルを読み取ると、すべてが完全に機能します。しかし、今日、PCでjava snappy（java-snappy 1.1.1.2）を使用して、結果フォルダーのファイルを解凍しようとしました（このファイルは、PCにダウンロードされたこのフォルダーのファイルの1つです）

Maven依存関係：

このコードを使用して解凍します：

しかし:(私はすぐにこのエラーを受け取ります:

スパーククラスターでは、次を使用します。

spark 1.1.0 && hadoop 2.5.1 (ネイティブ Hadoop snappy を使用)

hadoop checknative -aを実行したときの結果は次のとおりです。

リンクからスナッピーネイティブをダウンロードしてビルドしました：

https://code.google.com/p/snappy/ およびソース: https://drive.google.com/file/d/0B0xs9kK-b5nMOWIxWGJhMXd6aGs/edit?usp=sharing

誰かがこの奇妙なエラーについて説明してください!! Hadoop がネイティブの snappy を使用して java-snappy を使用してデータを圧縮すると、いくつかの違いがありますか??????

iWork 2013 ファイル形式には、.zip ファイル内に保存された .iwa (iWork アーカイブ) ファイルが含まれています。「IWA ファイルは Snappy のフレーミング形式で保存されますが、仕様に厳密には準拠していません。特に、必要なストリーム識別子チャンクが含まれておらず、圧縮されたチャンクには CRC-32C チェックサムが含まれていません。」https://github.com/obriensp/iWorkFileFormat/blob/master/Docs/index.md#iwa

これらのコンポーネントが欠落しているファイルを解凍できる Snappy の実装はありますか? もしそうなら、サンプルコードはありますか?

iWork ファイルの例は、このページの下部にあります: http://fileformats.archiveteam.org/wiki/IWA . たとえば、ファイル TestReport.pages.zip を解凍すると、.iwa ファイルを含む Index.zip が含まれていることがわかります。

Snappy for Windows コマンド ライン ツール ( http://snappy.angeloflogic.com/downloads/ ) を使用して .iwa ファイルを解凍してみました。しかし、「デコード中に無効なデータが見つかりました」というエラーが表示されました。

コードのベースとなる Snappy の実装がわからないため、サンプル コードはまだありません。

Hadoop snappyをインストールしたばかりhadoop fs -text /xxxx/xxx/xx/xx.snappyで、コマンドを使用しての snappyファイルhdfsの内容を表示しようとすると、致命的なエラーがスローされます。

私のシステムは OSX 10.10.1 (14B25) です

誰でもこの問題を解決するために私に助けてもらえますか?