問題タブ [lzma]

これらのメッセージをユーザーに再公開するサービスに Json メッセージを送信します。問題は、一部のメッセージが許可されているメッセージ サイズの上限を超えていることです。そのため、メッセージに何らかの圧縮を適用し、クライアント側で解凍できないかと考えました。

最初は C# で Gzip を試してみたのですが、JavaScript で解凍するのは難しそうです。

他のいくつかの声は、LZMA と Zlip を試すように指示しています。

私は正しい道を進んでいますか、それとも別の方法で考えるべきですか。

巨大なファイルがあります。それをone-csv-file.xzと呼びましょう。XZ圧縮されたCSVファイルです。

最初にファイルをディスクに解凍せずに、ファイルを開いて解析するにはどうすればよいですか? たとえば、ファイルが 100 GB の場合はどうでしょうか。もちろん、Python はそのすべてを一度にメモリに読み込むことはできません。ページングまたはメモリ不足になりますか?

大きなドキュメント ファイルの一部を圧縮しようとしています。しかし、ほとんどのファイルは最大 10% しか圧縮されていません。7zip ターミナル コマンドを使用しています。

7z a filename.7z -m0=LZMA -mx=9 -mmt=on -aoa -mfb=64 filename.pptx

パラメータの変更に関する提案。少なくとも 30% の圧縮率が必要です。

Python でbz2and/orパッケージを使用しようとしています。lzmaデータベース ダンプを csv 形式で圧縮してファイルに保存しようとしていzipます。両方のパッケージでワンショット圧縮で動作するようになりました。

コードは次のようになります。

増分圧縮を使用しようとすると、.zip ファイルが作成され、抽出しようとすると、いくつかのアーカイブ ファイルが再帰的に提供され続けます。

コードは次のようになります。

ドキュメントを調べ、圧縮技術に関する情報も探しましたが、ワンショット圧縮とインクリメンタル圧縮とは何かについての包括的な情報はないようです。

私はpython 3.4を使用しています

7z コンソール SFX ファイルを抽出するクローラーがあり、それらをプログラムで抽出したいと考えています。

現在、私はサブプロセス呼び出しでのみこれを行うことができました:

このスクリプトのユーザーは 7zip をインストールしていないか、別のディレクトリにインストールしている可能性があるため、これは問題です。さらに、サブプロセスを実行しても、通常の zFile 抽出を実行する場合のように、抽出されたアイテムに直接アクセスすることはできません。一時ディレクトリに抽出し、そのディレクトリ内のファイルを解析することでこれを回避できますが、それは面倒です。

Python で 7z コンソールの SFX ファイルを抽出する方法が必要だと考えています (おそらくpylzmaを使用したものでしょうか?) が、ここでこの件に関する質問を見つけることができないようです。

更新: py7zlib を使用した場合、まだ限られた成功しか収めていません。繰り返しますが、これは .7z アーカイブではなく、SFX (実行可能) アーカイブの抽出を目的としていることに注意してください。おそらく、そのようなファイル用の py7zlib のアプリケーションがありますが、例が見つかりません。

lzma2 でファイルを圧縮する例を教えてください。Google で検索しましたが、理解できる例は見つかりませんでした。

さまざまな 7z ファイルに含まれる多数の csv ファイルがあります。これらの 7z ファイルで特定の csv ファイルを見つけて、別のディレクトリに解凍して保存したいと考えています。私が試してみました

しかし、次のエラーが表示されます

奇妙なことに、最初の 2 つの csv ファイルではこの方法がうまく機能しているように見えます。問題の根本にたどり着く方法がわかりません。少なくともcsvファイルのデータは変わらないようです。IZArc を使用してさまざまな csv ファイルを手動で解凍しても問題ありません。(この問題は python 2.7 と 3.4 の両方で発生しました)。

lzma モジュールも使用しようとしましたが、7z ファイルに含まれるさまざまな csv ファイルを取得する方法がわかりませんでした。

LZMA を実装したdelphi-zipライブラリのこのスレッド リンクで見つけました。しかし、それから解凍を適切に使用することはできません。このライブラリを使用して、誰かが私のためにちょっとした解凍サンプルを書いてくれませんか?

これが私のコードです。圧縮では機能しますが、解凍では機能せず、0サイズを返します

System.Zip.LZMA を使用します。

....

また、私はこのようにしようとしましたが、まだうまくいきません

私のプログラムは、7z/ZIP ファイルに保存されているいくつかのファイルで動作します。ただし、一部の 7z/ZIP ファイルはヘッダーが変更されているため、抽出する前に有効なものに変更する必要があります。

変更されたヘッダーは常に同じであるため、const 変数に含まれています (有効なものと共に)。

交換ソリューションは非常に簡単で、正しい方法で実行できたことを願っています。

私が得る問題は、のすべてのインスタンスをリトルエンディアンまたはビッグエンディアンの順序で置き換えるたびにto_fix、PKZip常に同じ順序でファイルに書き込まれることです:04 03 4b 50の代わりに50 4b 03 04.

私は次のことを試しました：

上記のバリアントはすべて、間違った順序で置き換えられます。

なぜこうなった？私は 64 ビット プロセッサで Delphi 7 を使用しています (問題の原因はこれにあると思います)。