問題タブ [lzma]

圧縮アルゴリズムとしてLZMAを使用する7-Zipクレーム。ただし、LZMA SDKには、7zr.exeとlzma.exeの2つの実行可能ファイルが付属しています。これらは、オプション/スイッチが異なり、サイズが近い場合でも互換性のない異なる結果を生成します。

したがって、問題は次のとおりです。これら2つのプロセッサの違いは何ですか？

多くの試行錯誤を経て、PyLZMA を使用して lzma 圧縮ファイルを作成する方法を見つけましたが、フォルダーとそのすべてのファイル/ディレクトリを再帰的に圧縮するという一見単純なタスクを 7z ファイルに複製したいと考えています。私は7z.exeを介してそれを行うだけですが、プロセスが完了するまでプロセスのstdoutをキャッチできないようです。数百から数百の範囲のフォルダーを圧縮するため、7zファイルごとの進行状況が必要ですギガからテラバイトを超えるサイズまで。残念ながら、私が試したコードを提供することはできません.py7zlibを使用した例を見たのは、既存のファイルからファイルを抽出することだけだからです。これら2つの組み合わせで運が良かった人、または助けを提供できる人はいますか?

価値があるのは、これはWindowsでpython 2.7を使用することです。ここで発生する可能性のある魔​​法のマルチスレッドがあれば、特に lzma 圧縮がいかに遅いかを考えるとボーナスポイントです (ただし、ここでは時間は問題ではありません)。前もって感謝します！

github.com/fancycode/pylzma/blob/master/doc/usage.txt にストリーム (圧縮解除) の使用例がありますが、常に 1 バイト単位で読み取るため、明らかに比較的遅くなる可能性があります。

ただし、大きなサイズ (たとえば 65k) で読み取り、そのまま実行obj.decompress()すると、大きなファイルでは問題が生じます。その結果、pylzma はほとんどのデータを内部に保存し、obj.flush().

decompressメソッドにはbufsizeパラメーターがあります (デフォルトでは 128k のようです) 。30*read_size (30 はおおよその圧縮率) 以上に設定すると、解凍が意図したとおりに (そして非常に高速に) 動作します。ただし、これは明らかに破綻します。たとえば、数ギガバイトの 0 バイトで壊れます (圧縮率がはるかに高くなるため)。

したがって、質問: pylzma でファイルを適切に (解凍) 圧縮する方法 (速度のために適切なバッファー サイズを使用) は?

Javaを使用して大きなファイルの圧縮に取り組んでいます。ファイルを 7z ファイル (LZMA 圧縮) に圧縮することは (私にとって) 必須です。

そのために、私は7z Java SKDを使用しています。Decoder.code(...) メソッドを呼び出していますが、すべて正常に動作しています。元のファイルから圧縮された 7z ファイルを取得します。唯一の問題は、手動で抽出すると、「.xml」ファイルである必要があるのに拡張子のないファイルが得られることです...

7z アーカイブでも元のファイルの拡張子を保持する方法を知っている人はいますか?

最新のLZMA SDKをダウンロードし、Mac OSX でコンパイルしようとしていますが、tar ボールに含まれる makefile のいずれかでエラーが発生します。私が試して実行したメイクファイルのエラーは次のとおりです。

助けていただければ幸いです - ありがとう！

OSXプラットフォーム用のパッケージを配布するためにicebergを使用しています。

nsis（Windows用）のようにlzmaアルゴリズムでファイルを圧縮したい。

これを調べましたが、何も見つかりませんでした。おそらく氷山とlzmaの解決策はありませんが、私には希望があります。

誰かがlzma圧縮で氷山を使用する方法を知っていますか？

コードは機能していますが、結果に完全に満足しているわけではないので、ここでいくつか質問できると思いました。

ここに私の2つの機能があります:

と ：

1. 両方の関数で、 dstLen に入れる値をどのように知る必要がありますか? 大量のメモリを無駄に割り当てたくありません。
2. char* にキャストしなければならないのは悪いことですか? 本当に unsigned char を使用する必要がありますか?
3. LzmaCompress の最後の引数 (numThreads) を変更してみましたが、パフォーマンスは少しも改善されませんでした。他に何かすることはありますか？
4. ヒントがあれば、遠慮なく教えてください。

ありがとう。

現在、ディレクトリ全体を zip ファイルに圧縮する関数 makeBackup() がありますが、ファイルが大きすぎるため、LZMA に切り替えることにしました。これを行うライブラリ ( lzma-java ) を見つけましたが、1 つのファイルのみを圧縮しているように見えますが、使用した zip 関数はファイルとディレクトリを zip ファイルに追加できます。

関数を変更して、LZMA で同じことをどのように実装できますか? 現在の関数を以下に追加しました。

7-Zip の作成者が提供するネイティブのJava LZMA SDKは動作しますが、私のニーズに対して十分な速度ではありません。高レベルの実装は、アルゴリズムが必要とする低レベルの作業を処理できないようです。

7-Zip に同梱されている C++ dll にJNIカバーを実装する7-Zip-JBindingを見つけました。これは妥当な速度で解凍を処理しますが、ベータ版であり、現在圧縮をサポートしていません。

とにかく、私の質問は2つの部分です：

1. 高速な Java 実装には DLL ラッパーが最善の策であるという私の仮定はありますか?
2. もしそうなら、私が見るべき既存のプロジェクトはありますか、それともゼロから何かを書かなければなりませんか?