問題タブ [gunzip]

サーバーへのファイルの.gzファイルでcrcエラー/長さエラーに直面しています。

ファイルを手動で取得しているときに、サイズが1932バイトになり、問題なくガンジップできます。

しかし、シェルスクリプトを使用して取得すると、到着するファイルは1931バイトです。

面白い部分は、私が3つのファイルをftpで送信していて、そのうちの2つが正しく到着していることです。

これが私がそれを自動化した方法です：

それから

tuffnel、atlantaは正常に動作し、手動でダウンロードしない限り、restonはgunzipを実行しません。

よろしくお願いします、レブ

全て。

gunzip を使用して文字列の crc32 コードを計算したいと考えています。

文字列:テスト文字列

このコマンドはうまく機能します:
echo -n teststring | gzip -f > /tmp/filename && gunzip -lv /tmp/filename && rm -f /tmp/filename

しかし、このコマンドは機能しません:
echo -n teststring | gzip -f | gunzip -lv

すべての gunzip マニュアルを検索したところ、「圧縮ファイルがシーク不可能なメディア上にある場合、 --list オプションはサイズを -1 として報告し、crc を ffffffff として報告します。」を見つけました。標準出力がシーク不可能なメディアである理由を知りたい? このコマンドをうまく機能させるにはどうすればよいですか?

アップデート：

これは機能しません:
cat /tmp/filename | gunzip -lv

これはうまくいきます：
gunzip -lv < /tmp/filename

この 2 つのコマンドの違いを教えてください。ありがとうございました！

何千もの gz ファイルがあり、各 gz ファイルには 1 つの XML ファイルが圧縮されています。
Perl ですべてのファイルを解析する必要があります。
次の Perl コードを使用すると、問題なく動作します。

私の質問は、XML ファイルの最終変更時刻を取得することは可能ですか? 私は試しましstat($fh))[9]たが、常にエポック時間を返します。

親切に助けてくれてありがとう。

Python を使用して gzip ガーミン アクティビティ ファイルをデコードしようとしています。Garmin によると、ファイルは base64 gz ファイルです。私は投稿を介してブラウザからファイルをアップロードし、Django アプリでデータを受信して​​います。

ファイルの先頭はこんな感じ。

begin-base64 644 data.xml.gz\nH4sIAAAAAAAAA y9a4 lx3Hn d6fguB7JzNuGZkNigNfdrAGbMAYaXeNfbPolXplYiRSIFu

次のコードを使用して、パディングを調整し、base64 をデコードしました。

画面上の data_decoded の先頭は次のようになります。

\xe8"\x9f\xe6\xda\xb1\xee\xb8\xeb\x8e\x1dj\xd6\xb1\x9aX3\x1f\x8b\x08\x00\x00\x00\x00\x00\x00\x03/Z\ xe2\w\x1ewz~\x0b\x81\xec\x9c\xcd\xb8fd6(\r}\xda\xc0\x19\xb3\x00a\xa5\xde5\xf6\xcf\xa2U\xe9\x95\x88\x91H \x81n\xcb\xf7\xb4\x9f\xcc\xa7y%\xbd\x95\x9e\x13\xcd\x10\xf9Th\x04\x8d\xdf\xdf\xa6\xba\xa9\xcd\xf9=s\ xf8G\xfc

print data_decoded次のようになります。

}???a??5?ϢU镈?H?n????̧y%?????Th??σ????=s?G?

次に、次を使用してファイルを解凍しようとします。

その後、次のエラーが表示されます。

また、ファイルをディスクに直接保存し、コマンド ラインから gunzip を実行しようとしましたが、これも同じエラーが発生します。

どんな助けでも大歓迎です。

作業中の製品の 1 つに、次の構造を持つファイルが含まれています。

これを行うと、コンテンツを解凍し、同じファイルの圧縮されていないバージョンを再作成できます。

私はこれと同じ偉業をブーストで達成しようとしています。Boost は常にgzip.hpp がbad_headerとして明らかにするgzip_errorコード4をスローします。

私が作業しているファイルは間違いなく防弾ではなく、非常に古いレガシー システムによって生成されています。

私の主な質問: gunzip がそれを実行できる場合...ブーストで見落としている微調整またはフラグはありますか?

失敗している C++ コードは次のようになります (ポイントに焦点を当てるために大幅に簡略化されているため、構文エラーが含まれている可能性があります)。

以下に、さらに役立つ情報を示します。

• OS:レッドハット 5.7
• ブースト: boost-1.33.1-10 (el5 リポジトリ)
• プラットフォーム: x86_64
• GCC:バージョン 4.1.2 20080704 (Red Hat 4.1.2-46)

私の Makefile には、リンカーにも次の行があります。

そのため、かなり巨大な .gz ファイルがいくつかあります。解凍すると、それぞれ 10 ～ 20 GB になります。

それらの各行をループする必要があるため、標準を使用しています：

ただし、コマンドopen()とclose()コマンドはどちらも AGES を使用し、メモリ + CPU の 98% を使用します。プログラムが終了Killedして端末に出力されるほどです。たぶん、抽出されたファイル全体をメモリにロードしていますか？

私は今、次のようなものを使用しています:

これは機能します。しかし、よりクリーンな方法はありますか？

ディレクトリをtar.gzしたいのですが、大きなファイルを除外したいですか？中間抽出用です。ダンプは書き込まれ、保持する必要があります。

ユーザー要求への応答を圧縮できないサーバーを想定しています。それにもかかわらず、Web 開発者は を作成し、myfile.txt.gzに保存しhttp://www.mysite.com/myfile.txt.gzます。

この圧縮されたテキスト ファイルを Ajax リクエストの一部としてブラウザで自動的にガンジップし、結果をvar?ファイルに保存することができます。はいの場合、どのように？

必要に応じて、他の圧縮アルゴリズムを受け入れます。

アップデート

次の JQuery Ajax 呼び出しを使用しようとしています。

しかし、ブラウザで次のように表示されます。

何か案は？

私はパンダ（これは素晴らしいです）を理解し始めたところです。私がする必要があるのは、圧縮されたゲノミクスタイプのファイルをftpサイトからパンダのデータフレームに読み込むことです。これは私が試したものであり、大量のエラーが発生しました。

理想的には、次のようなことをしたいと思います。

並列圧縮と解凍に pigz を使用しようとしています。次のコマンドを使用して、並行して圧縮する方法を見つけました。

解凍する同等のコマンドは何ですか? コマンドが役立つようにするには、コマンドでファイル名と出力ディレクトリパスを指定できる必要があります。