私はかなりの量のデータを持っています。より正確には、8 GB の rpt ファイル。
処理する前に、実際に何行あるかを知りたいです。これは、後で処理にかかる時間を調べるのに役立ちます。Pythonでそのサイズのrptファイルを全体として読み取ることは明らかに機能しないため、1行ずつ読み取る必要があります。行数を調べるために、単純な python スクリプトを書きました。
import pandas as pd
counter=0
for line in pd.read_fwf("test.rpt", chunksize=1):
counter=counter+1
print(counter)
これはうまくいくようですが、非常に遅く、すべての行を実際に読み取る必要がないことに気付きました。
各行を読み取らずに行数を取得する方法はありますか?
どうもありがとう