1

非常に大きなテキスト ファイル (サイズが数 GB) があり、これを Python に読み込んでから行ごとに処理する必要があります。

1 つのアプローチは、単純data=f.readlines()にコンテンツを呼び出してから処理することです。このアプローチにより、行の総数がわかり、処理の進行状況を簡単に測定できます。ただし、ファイル サイズを考えると、これはおそらく理想的なアプローチではありません。

代替の（そして私がより良いと思う）オプションは、次のように言うことです：

    for line in f:
      do something

ただ今、自分の進歩を測定する方法がわかりません。大きなオーバーヘッドを追加しない良いオプションはありますか? (進行状況を知りたい理由の 1 つは、ファイル内のすべての行のサイズが似ているため、残り時間の大まかな指標を把握し、スクリプトがまだ何かを実行しているか、どこかで動かなくなっているかを確認することです。 )

4

1 に答える 1

0

Linux OS を使用している場合、解決策があるようです。

a = os.popen("wc -l some.txt")
f = a.read()

読み取り時に、行数とファイル名を取得します

于 2016-01-27T12:12:00.233 に答える