0

これは私の前の質問（ Pythonでのランダム化によるテキストファイルの削減）のフォローアップです。複数の縮小を実行するように変更しましたが、最初の出力ファイルにのみ縮小が含まれています。次の3つのファイルはサイズがゼロです。これは私が見ていない明らかなものに違いありません...

#!/usr/bin/env python
import random
import sys
from itertools import chain, groupby

def choose_random(iterator, fraction, random=random.random):
    """Lazy analog of:

        L = list(iterator)
        k = int(len(L) * fraction + .5) or 1 # get at least one
        result = random.sample(L, k)

    Note: this function doesn't randomize the order of elements
          that would require to keep selected elements in memory
          and number of output elements is not exactly k
    """
    # always yield at least one item if input is not empty
    item = next(iterator)
    it = (x for x in chain([item], iterator) if random() < fraction)
    for x in chain([next(it, item)], it):
        yield x

def getkey(line):
    return line.split("\t")[3] # 4th column

reductions = [0.25, 0.50, 0.75, 1]
filename = "foo"
outfile = [open("-".join([x, filename]), "w") for x in map(str, reductions)]

try:
    with open(filename, "r") as f:
        for ln, k in enumerate(map(float, reductions)):
            for key, group in groupby(f, key=getkey):
                outfile[ln].writelines(choose_random(group, fraction=k))

finally:
    for f in outfile:
        f.close()

出力は次のように表示されます（ファイル0.25-fooには正しい削減が含まれ、残りは空です）：

-rw-r--r--  1 staff  staff   53326048 Mar 27 03:42 0.25-foo
-rw-r--r--  1 staff  staff          0 Mar 27 03:42 0.5-foo
-rw-r--r--  1 staff  staff          0 Mar 27 03:42 0.75-foo
-rw-r--r--  1 staff  staff          0 Mar 27 03:42 1-foo
4

1 に答える 1

3

あなたは一度開きますfooが、それを4回繰り返してみてください。最初の削減が終了するまでに、ファイルの終わりになります。もう一度開く：

try:
    for ln, k in enumerate(map(float, reductions)):
        with open(filename, "r") as f:
            for key, group in groupby(f, key=getkey):
                outfile[ln].writelines(choose_random(group, fraction=k))

finally:
    for f in outfile:
        f.close()

または、各削減後に巻き戻します。

try:
    with open(filename, "r") as f:
        for ln, k in enumerate(map(float, reductions)):
            for key, group in groupby(f, key=getkey):
                outfile[ln].writelines(choose_random(group, fraction=k))
            f.seek(0)

finally:
    for f in outfile:
        f.close()

一度に両方のファイルを開きます。

reductions = [0.25, 0.50, 0.75, 1.0]
filename = "foo"

for fraction in reductions:
    with open(filename, "r") as f, open('%s-%s' % (fraction, filename), 'w') as outfile:
        for key, group in groupby(f, key=getkey):
            outfile.writelines(choose_random(group, fraction=fraction))
于 2013-03-27T11:17:15.323 に答える