0

txt または HDF5 形式から pandas のデータフレームにファイルを読み取るときに、いくつかの問題があります。これは、約 200 MB の文字列の txt ファイルが txt として保存され、read_table で読み取られると、約 600 Mb のメモリが消費されるためです。データフレームを HDFStore に追加すると、ファイルも約 200 MB になります。これが私がファイルを読む方法です

datatypes=[('FIELD1','S13'),('FIELD2','S3'),('FIELD3','S31')]
df=pd.read_table('c:\\folder1\\example1.txt',sep='|',dtype=datatypes)

メモリ使用量に関して、txt ファイルをより効率的に読み取る方法はありますか?

私はパンダv 0.11.0を使用しています

前もって感謝します

4

0 に答える 0