python - 大きなテキストファイルの読み取り中にメモリエラーが発生しました

Question

1行あたりの単語数を含む約36GBのテキストファイルがあり、ファイルを読み込もうとしていますが、メモリエラーが表示され、ショックを受けませんが、どのように回避すればよいですか？

私はこれを試しています：

for words in open("hugefile.txt").readlines():
    #do something

私は2GBのRAM、OSを持っています：Windows XP、Python 2.7

ありがとう。

Answer 1

readlines()ファイル全体をメモリにロードする呼び出しを行っています。

代わりにファイルを繰り返し処理します。

for words in open("hugefile.txt"):

これは、行を1つずつ繰り返し、必要に応じてさらに行を読み取ります。