python - Pythonでzipファイルを読み取る際のメモリエラー

Question

でzipファイルを読んでいるスレッドがありzipfile.ZipFile().read()、メモリエラーが発生しています。

read()ファイル全体をメモリにロードすることを認識しています。解凍後のファイルサイズが100MBを超えています。も試しましzipfile.ZipFile().open().readlines()たが、時間がかかりすぎます。

メモリエラーを発生させずにファイルを高速で読み取る方法はありますか?

Answer 1

圧縮されたテキスト ファイルを読み込もうとしていると仮定すると、返されたファイルのようなオブジェクトZipFile.open()をイテレータとして扱い、行ごとに処理できます...

from zipfile import ZipFile

zip = ZipFile('myzip.zip')
stream = zip.open('myfile.txt')
for line in stream:
    do_something_with(line)