問題タブ [gunzip]

私たちのプロジェクトでは、ngnix を介して提供される応答コンテンツを編集する必要があるという問題があります。圧縮されていない応答については、 ngnix のsub_filter モジュールを介して実行できますが、圧縮された応答については、応答を圧縮解除し、gunzipモジュールを使用しているために応答を編集する必要があります。

問題は、gunzip を使用すると、** curl** コマンドを介してレンダリングされる応答コンテンツに変更が含まれますが、ブラウザーを介して同じものをレンダリングすると、応答に変更が含まれません。何が問題なのか誰でも説明できますか。

バックグラウンド

これらのhddパーティションを持つmysqlサーバーで作業しています：

データベースに mysql ダンプをインポートする必要があります。したがって、次の構文を使用します。

一般的にはこれでうまくいきますが、解凍すると私のsql_dump.sql.gzファイルは 5GB を超えます。

上記のコマンドは で失敗しgzip: /home/.../sql_dump.sql.gz: No space left on deviceます。mysqlこれは、十分なスペースがある/tmpパーティションではなく、2.4GB しか空きがないパーティションに関係していると思います。

今のところ、/var/lib/mysql十分な空き容量があるパーティションにファイルを移動しました。そこに私のファイルをgunzipし、mysqlのインポートを開始し、その後圧縮ファイルと非圧縮ファイルを削除しました。

質問

gunzipデフォルトの一時的なターゲットの場所を一時的に強制的に変更する方法があるかどうかを自問していました。これは/tmp/デフォルトです。そのため、抽出されたgunzip -c sql_dump.sql.gz | ...ファイルは下に保存されませんが、ファイルの抽出中は/tmp/下に保存され/var/lib/mysqlます。このようなもの：

これは可能ですか？私はたくさん検索しましたが、この特定のニーズを解決するものは何も見つかりませんでした.

asyncio を使用してネットワーク経由で大きなログ ファイルをストリーミングしたいと考えています。データベースからデータを取得し、フォーマットし、python の zlib を使用して圧縮し、ネットワーク経由でストリーミングします。

基本的に私が使用するコードは次のとおりです。

取得したファイルを gunzip で開くことができず、zcat で次のエラーが発生します。

gzip されたデータファイルを含むディレクトリがあります。スクリプト est_abundance.py を使用して各ファイルを実行したいと考えています。しかし、最初にそれらを解凍する必要があります。だから私はこのbashを持っています:

問題は、bash スクリプトがすべてのデータファイルを解凍し続け、1 つのファイルを解凍した後、次のコマンドに進まないことです。これを修正するのを手伝ってもらえますか? すべてのファイルに対してすべてのコマンドを実行したいだけです。

編集-tarではなく1つのファイルのみを圧縮しているため、gzipまたはgunzipを使用したい. gunzip を使用しようとすると、次のエラーが発生します。

ログファイルを見つけてgzipするために実行しているコマンドは次のとおりです。

このファイルをgzipするにはどうすればよいですか? エラーが発生します：

これが私が得るエラーです：

gzip: /users/tnea01/logfile10.tar.gz: そのようなファイルまたはディレクトリはありません gzip: /users/tnea01/logfile10.log: 不明なサフィックス -- 無視されます

Perl v5.22.1、2.53_01 Storable、およびIO::Uncompress::Gunzip2.068 を使用しています。

Storable中間ファイルを使用せずに、Perl を使用してメモリ内のファイルを gunzip したいと考えています。

$zip_file = '/some/storable.gz'この圧縮ファイルを指す変数があります。

ファイルに直接 gunzip すると、これは正常に機能し、正しくハッシュ%rootに設定されます。Storable

ただし、次のようにメモリにガンジップすると:

エラーが発生します

そのため、Storable のマジック ナンバーは解体されました。それほど高くなることはありません。

ただし、解凍されたバッファ内の文字列は依然として正しいです。pstバッファは正しいStorableヘッダーで始まります。壊れているのは整数のようなマルチバイト変数だけのようです。

これは、ファイル バッファへの書き込みが別の方法で機能している間に、ファイルへの書き込みが 1 つの方法で機能するように、バイト順と関係がありますか? 整数を台無しにすることなく、バッファにガンジップするにはどうすればよいですか?