問題タブ [bzip2]

Hadoop 0.20.2 バージョンでは、次の方法で入出力圧縮を jobconf に追加できます。

jobConf は非推奨であり、代わりに job を使用する必要があります。そこに圧縮/解凍を追加するにはどうすればよいですか? 具体的には、wordcount の例を bzip2 ファイルを入力するように変更するにはどうすればよいですか。

bz2 ファイルにローテーションされたログファイルの内容を読みたいと思います。できるだけ少ないメモリを使用してこれを行うにはどうすればよいですか?

システムにログインしたユーザーのリストを検索するには、「last」を使用する必要があります。

そのディレクトリ内の bzip 圧縮されたアーカイブ ファイルの数を考慮し、共有システムを使用していることを考慮して、インライン bzcat を含めようとしていますが、何も機能していないようです。次の組み合わせを試しましたが、成功しませんでした。

私を夢中にさせます。どんな入力でも素晴らしいでしょう！

バイト配列を取得してbz2で別のバイト配列に解凍できるjavascriptライブラリはありますか？多くのブラウザがストリーム全体に対してこの機能を備えていることは知っていますが、この配列はストリームの開始からオフセットされています。

easy_installどちらかまたは両方を使用して PyTables をインストールしようとしていますpipが、両方の試行で同じエラーが発生します。

error: Command "gcc -pthread -fno-strict-aliasing -DNDEBUG -g -fwrapv -O2 -Wall -Wstrict-prototypes -fPIC -DNDEBUG=1 -DHAVE_LZO2_LIB=1 -DHAVE_BZ2_LIB=1 -Iblosc -I/usr/lib/pymodules/python2.7/numpy/core/include -I/usr/include/python2.7 -c src/H5ARRAY.c -o build/temp.linux-x86_64-2.7/src/H5ARRAY.o -Isrc -DH5_USE_16_API" failed with exit status 1

すべての依存関係がインストールされています。

• numexpr 1.4.2 パッケージがインストールされていることがわかりました。
• Cython 0.14.1 パッケージがインストールされていることがわかりました。
• で HDF5 ヘッダーが見つかりました。/usr/includeライブラリは/usr/libです。
• で LZO 2 ヘッダーが見つかりました。/usr/includeライブラリは/usr/libです。
• LZO 2 はすでに見つかっているため、LZO 1 の検出をスキップします。
• で bzip2 ヘッダーが見つかりました。/usr/local/includeライブラリは/usr/local/libです。

しかし、まだ警告があります:

.. WARNING:: Could not find the bzip2 runtime. The bzip2 shared library was *not* found in the default library paths. In case of runtime problems, please remember to install it.

この警告により、PyTables の正常なインストールが妨げられる可能性はありますか?

動作中に出力を tar.bz2 ファイルに保存するプログラムがあります。そのデータを処理する python スクリプトがあります。

最初のプログラムが中断された場合、またはプロセスの進行中に python スクリプトを実行するだけで、出力を処理できるようにしたいと考えています。

もちろん、最後の bzip2 ブロックは未完成であるため、読み取ることはできません。実際には破損していますが、実際には切り詰められているだけです。GNU tar は実際には、その時点までのファイルから可能な限りすべてを喜んで抽出しますbzcat。bzip2recover修復されたブロックを作成することもできますが、この場合はbzcat.

しかし、私は Python の標準のtarfileモジュールを使用しようとしています。これは失敗します

最初にあることがわかってTarFile.extractfileいるファイルで使用しようとしたとき。（問題なく抽出されます。）tar -xf tarfile.tar.bz2 filename

ファイルの無効な終わりを無視して、私が持っているものを操作するために私ができる賢いことはありますか?

データセットはかなり大きくなる可能性があり、非常に圧縮可能であるため、圧縮しないままにしておくことは望ましくありません。

(既存の質問Untar archive in Python with errorsを見つけましたが、その場合、ユーザーはos.systemtar ファイルを試みています。)

私は現在、bzlib.hヘッダーの使用方法を学ぶのに助けが必要です。Boostライブラリを使用せずにC++でcompressToBZ2（）関数を理解するのを手伝ってくれる人がいるのではないかと思っていました。

私がやろうとしているのは、このようなものを使うことですが、運がありませんでした。.tar.bz2ではなく.bz2ファイルを取得しようとしています

何か助けはありますか？

Hadoop 1.0.0を使用するクラスターがあり、巨大なbz2ファイルを処理するMRジョブを実行したいと思います。バージョン0.21.0では、Bz2コーデックは入力ファイルの分割をサポートしていましたが、1.0.0ではこの機能を見つけることができませんでした。1.0.0でbz2入力を分割することに相当するものはありますか？または、このために0.21.0からのパッチを手動で適用する必要がありますか？

Python 3.2のbzip2のバージョンは何ですか？

bzip2は現在1.0.6です。Python 3.2で使用されているバージョンを見つけるにはどうすればよいですか？