python - スキップ行による Pandas .DAT ファイルのインポート エラー

Question

巨大なデータ ファイルを小さな部分に分割しようとしています。次のスクリプトを使用しています-

 df = pd.read_csv(file_name, header=None,encoding='latin1',sep='\t',nrows=100000, skiprows = 100000)

しかし、skip rows引数が100000ではなく約200000行をスキップしていることがわかりますが、なぜこれが起こっているのか誰にでも教えてもらえますか

Answer 1

@EdChumのおかげで、次のコードでchunksizeを使用して問題を解決できました:-

i = 0
tp = pd.read_csv(filename,header=None,encoding='latin1', sep='\t', iterator=True, chunksize=1000000)
for c in tp:
    ca = pd.DataFrame(c)
    ca.to_csv (file_destination +str(i)+'test.csv', index = False, header = False)
    i = i+1