同じ手法を使用してファイルの最後の行を変更するだけでなく、ファイルの最後の行を変更する同様の質問に対する私の回答に対するコメント投稿者の要請で回答を投稿しました。
かなりのサイズのファイルの場合、mmapこれを行う最善の方法です。既存の回答を改善するためにmmap、このバージョンは Windows と Linux の間で移植可能であり、より高速に実行する必要があります (GB 範囲のファイルを使用する 32 ビット Python でいくつかの変更を加えないと動作しませんが、これを処理するためのヒントについては他の回答を参照してください)。 、および Python で動作するように変更する場合 2 )。
import io # Gets consistent version of open for both Py2.7 and Py3.x
import itertools
import mmap
def skip_back_lines(mm, numlines, startidx):
'''Factored out to simplify handling of n and offset'''
for _ in itertools.repeat(None, numlines):
startidx = mm.rfind(b'\n', 0, startidx)
if startidx < 0:
break
return startidx
def tail(f, n, offset=0):
# Reopen file in binary mode
with io.open(f.name, 'rb') as binf, mmap.mmap(binf.fileno(), 0, access=mmap.ACCESS_READ) as mm:
# len(mm) - 1 handles files ending w/newline by getting the prior line
startofline = skip_back_lines(mm, offset, len(mm) - 1)
if startofline < 0:
return [] # Offset lines consumed whole file, nothing to return
# If using a generator function (yield-ing, see below),
# this should be a plain return, no empty list
endoflines = startofline + 1 # Slice end to omit offset lines
# Find start of lines to capture (add 1 to move from newline to beginning of following line)
startofline = skip_back_lines(mm, n, startofline) + 1
# Passing True to splitlines makes it return the list of lines without
# removing the trailing newline (if any), so list mimics f.readlines()
return mm[startofline:endoflines].splitlines(True)
# If Windows style \r\n newlines need to be normalized to \n, and input
# is ASCII compatible, can normalize newlines with:
# return mm[startofline:endoflines].replace(os.linesep.encode('ascii'), b'\n').splitlines(True)
これは、末尾の行数が十分に少なく、一度にすべてを安全にメモリに読み込むことができることを前提としています。これをジェネレーター関数にして、最後の行を次のように置き換えることで、一度に 1 行ずつ手動で読み取ることもできます。
mm.seek(startofline)
# Call mm.readline n times, or until EOF, whichever comes first
# Python 3.2 and earlier:
for line in itertools.islice(iter(mm.readline, b''), n):
yield line
# 3.3+:
yield from itertools.islice(iter(mm.readline, b''), n)
最後に、これはバイナリモードで読み取られるため ( を使用する必要がありますmmap)、str行 (Py2) とbytes行 (Py3) が得られます。unicode（Py2）または（Py3）が必要な場合strは、反復アプローチを微調整して、デコードおよび/または改行を修正できます。
lines = itertools.islice(iter(mm.readline, b''), n)
if f.encoding: # Decode if the passed file was opened with a specific encoding
lines = (line.decode(f.encoding) for line in lines)
if 'b' not in f.mode: # Fix line breaks if passed file opened in text mode
lines = (line.replace(os.linesep, '\n') for line in lines)
# Python 3.2 and earlier:
for line in lines:
yield line
# 3.3+:
yield from lines
注: テストする Python にアクセスできないマシンで、これをすべて入力しました。何かタイプミスがあれば教えてください。これは私の他の回答と十分に似ていたので、うまくいくと思いますが、微調整（ の処理などoffset）により微妙なエラーが発生する可能性があります。間違い等ありましたらコメントにてお知らせください。