3

約 15 列の 5287657 前後のかなり大きなデータセットがあります。ピボット テーブルを作成MemoryError しようとしていましたが、 DataFrame を作成しようとすると、
以下は、私が見ているエラーメッセージです:

File "C:\Python27\lib\site-packages\pandas\core\frame.py", line 411, in __init__
  arrays, columns = _to_arrays(data, columns, dtype=dtype)
File "C:\Python27\lib\site-packages\pandas\core\frame.py", line 5472, in _to_arrays
  dtype=dtype)
File "C:\Python27\lib\site-packages\pandas\core\frame.py", line 5500, in _list_to_arrays
  coerce_float=coerce_float)
File "C:\Python27\lib\site-packages\pandas\core\frame.py", line 5555, in _convert_object_array
  for arr in content]
File "inference.pyx", line 393, in pandas.lib.maybe_convert_objects (pandas\lib.c:32941)
MemoryError

メモリ エラーが発生する前に Pandas を使用して操作できるデータに制限はありますか?

4

2 に答える 2

0

1 つのアプローチは、チャンクでデータを分析することです。もう 1 つの方法は、データのランダム サンプルを読み込むことです。これについては短い記事を書きました。ファイルからのデータの読み込み時/

于 2015-06-16T04:14:43.280 に答える
0

read_csv を使用してDataFrameを作成します。このタスク用に大幅に最適化されています。

于 2013-03-28T01:23:21.453 に答える