問題タブ [snappy]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票する
0 に答える
1686 参照

java - Spark が「java.lang.UnsatisfiedLinkError: no snappyjava in java.library.path」というエラーで動作しない

Spark 1.2.0 の CDH4 ビルドを使用して、.NET を使用してビルドされた Scala コードの jar を送信していsbt assemblyます。

spark shell と spark submit の両方が以下のエラーで失敗しています。

以下のように、build.sbt に依存関係として snappy を含めましたが、それもダウンロードされます。

問題と適切な解決策を提案してください。

これがspark-submitコマンドです

./spark-submit --class org.cmls.SparkExamples.Spark_First /home/varun/SPARK/spark-1.2.0/assembly/target/scala-2.11/my-project-assembly.jar

0 投票する
2 に答える
2412 参照

java - 高レベルのコンシューマーと単純なコンシューマーを使用した kafka 圧縮

私のアプリケーションでは、プロデューサーとコンシューマーが Java API を使用してデータを圧縮および解凍した場合、解凍されたデータを問題なく消費する Kafka 高レベル コンシューマーを使用しています。

プロデューサがlibrdkafka C++ API を圧縮 (snappy または GZIP) に使用するとどうなりますか? 上記の場合と同様に、Java コンシューマーは透過的に解凍できますか。コンシューマ側のフェッチ サイズはどうなりますか? これも透過的に処理されますか。

単純なコンシューマー モデルを使用してカフカ コンシューマーを設計するとどうなりますか? プロデューサーからの圧縮データを明示的に解凍する必要がありますか (ここではlibrdkafka C++ API を使用すると仮定します)。

プロデューサ側のlibrdkafka C++ APIで圧縮が発生した場合、高レベルのコンシューマが機能しない可能性があると考えていますか? ここでKafka message codec - compress and decompress という他の投稿を見たので、ここで間違っている場合はクリアしてください。これとは対照的に、高レベルの消費者がhttp://grokbase.com/t/kafka/users/142veppeyv/unable-to-consume-snappy-compressed-messages-with-simpleを使用した場合、解凍が機能するはずであると言う別のリンクを見つけました-消費者

ありがとう

0 投票する
1 に答える
475 参照

python - venv の pip python-snappy ライブラリ

python snappy のライブラリを仮想環境にインストールできません。これはエラーです:

0 投票する
1 に答える
1498 参照

node.js - Snappy でファイルが圧縮されているかどうかを確認する

テキストが Snappy で圧縮されているかどうかをテストしようとしています。Node.JS https://github.com/kesla/node-snappyライブラリを使用しています。

ファイルからの読み取りに関するヘルプについては、この回答の功績を認めてください。

ここに私が得ているものがあります:

部分で何が起こっているのAssertion failed...ですか?

0 投票する
0 に答える
910 参照

java - Hadoop で Snappy Compression と Decompression を使用する方法

私は圧縮のために次のコードを使用しています

スナッピーアルゴリズムを使用。しかし、入力ファイルを数メガバイトのデータ(70〜100メガバイト)で圧縮している間、入力ファイルよりも大きなファイルサイズでデータを圧縮します。すべてのタイプのファイルを含む入力ディレクトリで試してみると(.jpg、.mp3 、.mp4 など)、サイズが 100 ~ 150 MB の場合、次のようにエラーが表示されます。

snappy アルゴリズムを使用してデータを圧縮および解凍しようとしているので、sanppy アルゴリズムを使用して少ないスペースでデータを圧縮する方法を提案してください。

私は使っている

Ubuntu 13.10、32 ビット Jdk 7 32 ビット。hadoop-2.2.0 を使用

0 投票する
1 に答える
841 参照

mapreduce - Java Map reduce で snappy ファイルを読み取る

カスタム入力クラスを使用せずに、Map Reduce アプリケーションへの入力ファイルとして snappy ファイルを使用できますか?

これに関する情報は見つかりませんでした。

よろしく、ニッシュ

0 投票する
1 に答える
2250 参照

java - Snappy 圧縮ファイルの読み取り中にエラーが発生しました

Snappy Compressed fileローカルから を読んでいjavaます。

私のコードは ReflectionUtils.newInstance で例外を取得しています

バージョンの不一致の問題が原因ですか。snappy 1.1.1.2バージョンを使用しています

0 投票する
1 に答える
1277 参照

homebrew - ブリュー・インストール・スナッピー

Brew 経由で snappy をインストールしようとしていますが、次のエラーが発生します。

には何もありませんhttps://snappy.googlecode.com/files/snappy-1.1.1.tar.gz。正しい場所を指すようにbrewを取得するにはどうすればよいですか?また、その場所を見つけるにはどうすればよいですか?

ありがとう