問題タブ [lz4]

巨大な CSV ファイルを LZ4 圧縮 API にフィードする最良の方法は何ですか? 以下は、非常に大きなファイルには最適ではありません。

lz4 形式で圧縮された膨大な数のツイート データがあります。各ファイルを開いて解凍し、python からいくつかの情報を抽出したいと思います。

lz4c -dUbuntu でコマンドを使用してファイルを解凍すると、ファイルは問題なく解凍されます。しかしlz4.loads('path_to_file')、Pythonで使用すると、 ValueError: corrupt input at byte 6. バイト モードでファイルを read() しようとすると、同じエラー メッセージが表示されます。私は何をしますか？

ハッシュ テーブルに含まれる値を圧縮/解凍する必要があります。LZ4 は GZip よりもパフォーマンスが優れているように見えるので、試しています。

ここに私のコード。特に、table_data_cache各HashMap<String, List<Object>>リストに 2 つのオブジェクトがあり、最初の 1 つだけを圧縮する必要がある

圧縮

減圧

しかし、次のエラーがあります。

net.jpountz.lz4.LZ4Exception: 入力バッファのオフセット 1 のデコード中にエラーが発生しました

なにが問題ですか？

圧縮技術を使用する必要があります。しかし、lz4 と zlib のどちらかを決めることはできません。インターネットを少し検索しましたが、lz4 を強くお勧めしますが、出力サイズに関するデータは見つかりませんでした。最終的な出力サイズの点でどちらが優れているかを誰か教えてください。

LZ4 コンプレッサーC libを使用しています。私が圧縮するファイルのいくつかは、JPG と PNG です。どういうわけか、私には理解できませんが、その方法は

圧縮している画像に対して負の値（またはゼロ）を返すことがあります。

たとえば、2 つの標準 JPG 画像を圧縮しています。1 つは値「-236」を返し、2 番目は圧縮されたバイト数を返します。これは、最初の圧縮に失敗したことを意味します。ゼロリターンは、LZ4 が圧縮に失敗したことを意味します。-236 の意味がわかりません。元データがある程度圧縮されているからでしょうか。

膨大な数のデータを保存するためにボードにフラッシュ メモリを配置したこの組み込みシステムがあります。メイン コントローラは ARM Cortex-M3 プロセッサであり、フラッシュの一部に配置されたデータを圧縮し、圧縮されたデータをフラッシュの別の部分に配置することになっています。

これらの種類のシステムでは SRAM の量が限られているため、LZ4HC アルゴリズムをどのように正確に使用できますか? PC のようにデータ全体を一度に圧縮することはできず、データの小さなチャンクまたはブロックごとに圧縮する必要があると思います (たとえば、512 または 4096 バイトのデータごとに)。方法がわかりません。機能がまったく理解できませんでした。
ブロックごとにこれを行うことさえ可能ですか?
例が見つかりませんでした。また、オープン ソース コードには適切なドキュメントが付属していません。実際、ドキュメントはないと思います。

Linuxコマンドラインlz4を使用してcsvファイルを圧縮していました。

例：-

lz4入力.csv

出力としてinput.csv.lz4になります

しかし、次のコマンドを使用して Spark シェルで lz4 ファイルを読み込もうとすると、常に空の結果になります。

val 出力 = sparkSession.read.format("com.databricks.spark.csv").option("区切り文字", "\t").load("s3:///input.csv.lz4")

output.count res: ロング = 0

lz4コマンドラインツールがsparkと互換性がない可能性がある場所を見つけました

https://forums.databricks.com/questions/7957/how-can-i-read-in-lz4-compressed-json-files.html

誰かがスパークでlz4ファイルを読むことに取り組んでいますか? はいの場合、lz4 ファイルはどのように作成されましたか?