問題タブ [bzip2]

ディレクトリの tarball を作成し、C++ の bz2 で圧縮する必要があります。libtar と libbz2 の使用に関する適切なチュートリアルはありますか?

bzip2 ファイル (5GB 以上) があり、ブロック #x のみを解凍したいとします。データがある場所があるためです (ブロックは毎回異なります)。どうすればいいですか？

すべてのブロックがどこにあるかのインデックスを作成し、必要なブロックをファイルから切り取り、それに bzip2recover を適用することを考えました。

また、一度に 1MB ずつ圧縮し、これをファイルに追加 (および場所を記録) し、必要なときにファイルを取得することも考えましたが、元の bzip2 ファイルをそのまま保持したいと思います。

私の好みの言語は Ruby ですが、どの言語のソリューションでも問題ありません (原理を理解している限り)。

Tomcatにサーブレットの内容をbzip2ファイルとして書き出させようとしています（おそらく愚かな要件ですが、統合作業には明らかに必要です）。私はSpringフレームワークを使用しているので、これはAbstractControllerにあります。

http://www.kohsuke.org/bzip2/のbzip2ライブラリを使用してい ます

内容をbzipで圧縮できますが、ファイルを書き出すと、大量のメタデータが含まれているようで、bzip2ファイルとして認識できません。

これが私がしていることです

これは、Springabstractcontrollerの次のメソッドから呼び出されています

ServletOutputに直接書き込むなど、さまざまなアプローチでいくつかの試みを行いましたが、かなり困惑しており、オンラインで例を見つけることができません。

これまでにこれに出くわしたことがある人からのアドバイスをいただければ幸いです。代替のライブラリ/アプローチは問題ありませんが、残念ながらbzip2化する必要があります。

zip、gzip、およびrarファイルを解凍できますが、bzip2ファイルを解凍するだけでなく、それらを解凍する必要もあります（.tar）。使用するのに適したライブラリを見つけられませんでした。

私はJavaをMavenと一緒に使用しているので、理想的には、Javaを依存関係としてPOMに含めたいと思います。

どのライブラリをお勧めしますか？

を使用している場合、文字列で既に圧縮するbzopen必要がありますか、それとも書き込み中に自動的に圧縮されますか?bzwrite()bzcompress()

こんにちは、Boost.IOstreamsを使用してデータをbzip2ファイルに保存したいと思います。

私が間違っていることは何ですか？Boost1.42.0を使用しています。

アーマンよろしくお願いします。

編集 双方向オプションを削除すると、コードは機能します。

多分誰かが理由を説明できますか？

以下のコードでは、EOF を超えた文字が壊れた "hello.bz2" があります。

boost::iostreams::copy() 呼び出しを throw にする方法はありますか?

編集: これまでのところ最も注目されている行は無視してください。EOF。破損した bzip2 ファイルで作業することを想定してください。ファイルに対してbzcatを実行したときに発生したエラーを示唆する「EOF」を使用しました

2 つの bzip2 ファイルをマージしたいと考えています。1 つを別のものに追加しようとしました:cat file1.bzip2 file2.bzip2 > out.bzip2これは機能しているように見えます (このファイルは正しく解凍されています) が、このファイルを Hadoop 入力ファイルとして使用したいのですが、破損したブロックに関するエラーが発生します。

解凍せずに 2 つの bzip2 ファイルをマージする最良の方法は何ですか?

8コア、16 GBのRAMワークステーションを使用して、数百ギガバイトのデータをすばやくbzip2圧縮したいと考えています。現在、私は単純なpythonスクリプトを使用して、bzip2とos.walk呼び出しに結合されたos.system呼び出しを使用してディレクトリツリー全体を圧縮しています。

bzip2は単一のCPUのみを使用し、他のCPUは比較的アイドル状態のままであることがわかります。

私はキューとスレッド化されたプロセスの初心者です。しかし、4つのbzip2実行スレッド（実際にはos.systemスレッドを推測します）をそれぞれがおそらく独自のCPUを使用して、キューからファイルをbzipで枯渇させるように、これをどのように実装できるのか疑問に思っています。

私のシングルスレッドスクリプトはここに貼り付けられています。

bz2ファイルに配置された約200,000のテキストファイルがあります。私が抱えている問題は、bz2ファイルをスキャンして必要なデータを抽出すると、非常に遅くなることです。私が探している単一のファイルを細かくするために、bz2ファイル全体を調べる必要があります。これをスピードアップする方法はありますか？

また、tar.bz2内のファイルを整理して、代わりにどこを見ればよいかを知ることができるようにすることも考えました。bz2に入れられるファイルを整理する方法はありますか？

詳細/編集：各テキストファイルの圧縮ファイルをクエリする必要があります。このような多数のファイルをサポートし、完全に圧縮される、より優れた圧縮方法はありますか？