67

私のソースデータはTSVファイルにあり、6列で200万行を超えています。

これが私が達成しようとしていることです：

  1. このソースファイルの3つの列（3、4、5）のデータを読み取る必要があります
  2. 5番目の列は整数です。この整数値を使用して、3番目と4番目の列のデータを使用して行エントリを複製する必要があります（整数回の数で）。
  3. ＃2の出力をCSV形式で出力ファイルに書き込みたい。

以下は私が思いついたものです。

私の質問：これはそれを行うための効率的な方法ですか？200万行で試行すると、集中的になる可能性があります。

まず、使用するサンプルタブの個別のファイルを作成し、それを「sample.txt」と呼びました。これは基本的なもので、4行しかありません。

Row1_Column1    Row1-Column2    Row1-Column3    Row1-Column4    2   Row1-Column6
Row2_Column1    Row2-Column2    Row2-Column3    Row2-Column4    3   Row2-Column6
Row3_Column1    Row3-Column2    Row3-Column3    Row3-Column4    1   Row3-Column6
Row4_Column1    Row4-Column2    Row4-Column3    Row4-Column4    2   Row4-Column6

それから私はこのコードを持っています：

import csv 

with open('sample.txt','r') as tsv:
    AoA = [line.strip().split('\t') for line in tsv]

for a in AoA:
    count = int(a[4])
    while count > 0:
        with open('sample_new.csv', 'a', newline='') as csvfile:
            csvwriter = csv.writer(csvfile, delimiter=',')
            csvwriter.writerow([a[2], a[3]])
        count = count - 1
4

1 に答える 1

133

このモジュールを使用してcsv、タブ区切りの値ファイルを読み取る必要があります。一度にメモリに読み込まないでください。読んだ各行には、結局のところ、出力CSVファイルに行を書き込むために必要なすべての情報が含まれています。出力ファイルをずっと開いたままにします。

import csv

with open('sample.txt', newline='') as tsvin, open('new.csv', 'w', newline='') as csvout:
    tsvin = csv.reader(tsvin, delimiter='\t')
    csvout = csv.writer(csvout)

    for row in tsvin:
        count = int(row[4])
        if count > 0:
            csvout.writerows([row[2:4] for _ in range(count)])

または、itertoolsモジュールを使用して繰り返しを実行しますitertools.repeat()：

from itertools import repeat
import csv

with open('sample.txt', newline='') as tsvin, open('new.csv', 'w', newline='') as csvout:
    tsvin = csv.reader(tsvin, delimiter='\t')
    csvout = csv.writer(csvout)

    for row in tsvin:
        count = int(row[4])
        if count > 0:
            csvout.writerows(repeat(row[2:4], count))
于 2012-12-21T16:07:16.657 に答える