txt または HDF5 形式から pandas のデータフレームにファイルを読み取るときに、いくつかの問題があります。これは、約 200 MB の文字列の txt ファイルが txt として保存され、read_table で読み取られると、約 600 Mb のメモリが消費されるためです。データフレームを HDFStore に追加すると、ファイルも約 200 MB になります。これが私がファイルを読む方法です
datatypes=[('FIELD1','S13'),('FIELD2','S3'),('FIELD3','S31')]
df=pd.read_table('c:\\folder1\\example1.txt',sep='|',dtype=datatypes)
メモリ使用量に関して、txt ファイルをより効率的に読み取る方法はありますか?
私はパンダv 0.11.0を使用しています
前もって感謝します