6

1,000 万行を超えるテキスト ファイルがあります。そのような行：

37024469;196672001;255.0000000000
37024469;196665001;396.0000000000
37024469;196664001;396.0000000000
37024469;196399002;85.0000000000
37024469;160507001;264.0000000000
37024469;160506001;264.0000000000

ご覧のとおり、区切り文字は「;」です。2番目の要素に従ってpythonを使用して、このテキストファイルをソートしたいと思います。分割機能が使えませんでした。MemoryError が発生するためです。どうすれば管理できますか？

4

3 に答える 3

22

メモリ内の 1000 万行を並べ替えないでください。代わりにこれをバッチに分割します。

  • 100k 行の並べ替えを 100 回実行します (ファイルをイテレータとして使用しislice()、バッチを選択するために組み合わせるか、同様のものを使用します)。別の場所に別のファイルに書き出す。

  • ソートされたファイルをマージします。これは、100 個の開いているファイルを渡すことができるマージ ジェネレーターであり、ソートされた順序で行を生成します。行ごとに新しいファイルに書き込みます。

    import operator

def mergeiter(*iterables, **kwargs):
    """Given a set of sorted iterables, yield the next value in merged order

    Takes an optional `key` callable to compare values by.
    """
    iterables = [iter(it) for it in iterables]
    iterables = {i: [next(it), i, it] for i, it in enumerate(iterables)}
    if 'key' not in kwargs:
        key = operator.itemgetter(0)
    else:
        key = lambda item, key=kwargs['key']: key(item[0])

    while True:
        value, i, it = min(iterables.values(), key=key)
        yield value
        try:
            iterables[i][0] = next(it)
        except StopIteration:
            del iterables[i]
            if not iterables:
                raise
于 2013-01-22T18:10:47.297 に答える
5

Python を使用して 2MB の RAM で 100 万個の 32 ビット整数をソートすることに基づいています。

import sys
from functools import partial
from heapq import merge
from tempfile import TemporaryFile

# define sorting criteria
def second_column(line, default=float("inf")):
    try:
        return int(line.split(";", 2)[1]) # use int() for numeric sort
    except (IndexError, ValueError):
        return default # a key for non-integer or non-existent 2nd column

# sort lines in small batches, write intermediate results to temporary files
sorted_files = []
nbytes = 1 << 20 # load around nbytes bytes at a time
for lines in iter(partial(sys.stdin.readlines, nbytes), []):
    lines.sort(key=second_column) # sort current batch
    f = TemporaryFile("w+")
    f.writelines(lines)
    f.seek(0) # rewind
    sorted_files.append(f)

# merge & write the result
sys.stdout.writelines(merge(*sorted_files, key=second_column))

# clean up
for f in sorted_files:
    f.close() # temporary file is deleted when it closes

heapq.merge()keyPython 3.5 以降のパラメーターがあります。mergeiter()代わりにMartijn Pieters の回答を試すか、古い Python バージョンでSchwartzian 変換を実行できます。

iters = [((second_column(line), line) for line in file)
         for file in sorted_files] # note: this makes the sort unstable
sorted_lines = (line for _, line in merge(*iters))
sys.stdout.writelines(sorted_lines)

使用法：

$ python sort-k2-n.py < input.txt > output.txt
于 2013-06-06T06:11:53.420 に答える
1

os.system()bash関数の呼び出しでそれを行うことができますsort 

sort -k2 yourFile.txt
于 2013-01-22T18:12:01.810 に答える