8

巨大なファイルがあります。それをone-csv-file.xzと呼びましょう。XZ圧縮されたCSVファイルです。

最初にファイルをディスクに解凍せずに、ファイルを開いて解析するにはどうすればよいですか? たとえば、ファイルが 100 GB の場合はどうでしょうか。もちろん、Python はそのすべてを一度にメモリに読み込むことはできません。ページングまたはメモリ不足になりますか?

4

2 に答える 2

6

LZMAFileオブジェクトを反復処理できます

import lzma  # python 3, try lzmaffi in python 2
with open('one-csv-file.xz') as compressed:
    with lzma.LZMAFile(compressed) as uncompressed:
        for line in uncompressed:
            do_stuff_with(line)
于 2016-04-25T15:55:44.943 に答える