問題タブ [bz2]

simple-text/bz2-compressed-file を読み取るコードを書きました。ファイルが圧縮されているかどうかを検出するために、bz2ファイルの魔法の文字を使用しました

注「ユーザーは適切な拡張子のファイルを提供する場合と提供しない場合があります」

私のコード

このコードには問題があります。圧縮ファイルの読み取り中。圧縮ファイル全体を読み込んでいます。file_typeをテストするためだけに、ファイル全体をメモリにロードしたくありません。

ファイル サイズが 4 GB を超える可能性があります

何らかの方法で file_type を把握できれば、それは非常に簡単です。

事前にそれを知る方法がわかりません。または他のアプローチ。

多くの bz2 アーカイブを含むサブディレクトリでいっぱいの「input」というディレクトリがあります。そのようです：

内部ファイル構造を保持しながら、各アーカイブの内容を新しい「出力」フォルダーに抽出するWindowsバッチスクリプトを作成しようとしているため、次のようになります。

これまでのところ、次のスクリプトがあります。

抽出は機能しますが、内容がフォルダー 1、フォルダー 2 などにパッケージ化されません。

各アーカイブの親フォルダーに新しいフォルダーを作成し、それを出力ディレクトリとして設定する必要があるように感じます。このようなもの：

しかし、親フォルダー名を取得するにはどうすればよいでしょうか?

ブースト 1.66 をダウンロードし、bzip を解凍し、ブートストラップを起動します。

b2 レポート:

ビルド中にエラーはなく、警告のみ。/home/steve/boost_1_66_0/stage/lib を調べていますが、名前にbzが含まれるファイルはありません。私が持っているWindowsのビルド済みバイナリでは：

その結果、私のプロジェクトは Windows では正常にビルドされますが、bz2 の依存関係がないために Linux では失敗します。何か案は？

私のLinuxはubuntu 14です。

ありがとう。

Python で bz2 ファイルを解凍すると、いくつかの問題が発生します。Windows 7 と Red Hat で同じ問題が発生しています。どちらも Python 2.7 Anaconda ディストリビューションを実行しています。

bz2 ファイルを読み取ると、ファイルの最初の 900k バイトしか取得できません。

bz2.decompress では、最初の 900000 バイトしか得られません。s2はほとんどの場合sより大きくなります。

これは、Read Hat または Windows を選択した環境に関係なく当てはまります。

誰も手がかりを持っていますか？

ありがとう

私は文字列を持っています:

そして私が欲しい：

しかし、私は取得し続けます:

環境

Web ページから文字列を切り取り、変数に格納しましたun。次に、BZip2 を使用して解凍します。

ただし、オブジェクトであるため、次のエラーが発生しますun。str

したがって、un単一のバックスラッシュをエスケープされたバックスラッシュに変更せずに、バイトのようなオブジェクトに変換する必要があります。

編集1： すべての助けをありがとう！@wimあなたの言いたいことはわかりましたが、ウェブスクレイピングメソッドからバイトのようなオブジェクトを取得する方法について途方に暮れています:

私が使用しているパッケージは、、、、requestsおよびです。lxml.htmlrebz2

繰り返しますが、私の目標は をun使用して解凍するbz2ことですが、Web スクレイピング プロセスからバイトのようなオブジェクトを取得するのに苦労しています。

ポインタはありますか？