11

Pythonpandasのライブラリを使用したメモリリークの問題に直面しています。クラスにオブジェクトを作成し、条件に応じてデータフレームサイズを変更するメソッドがあります。データフレームのサイズを変更して新しいパンダオブジェクトを作成した後、クラスの元のpandas.dataframeを書き直します。ただし、初期テーブルを大幅に削減した後でも、メモリ使用量は非常に高くなります。短い例のコード（私はプロセスマネージャーを作成しませんでした。タスクマネージャーを参照してください）：pandas.dataframe

import time, string, pandas, numpy, gc
class temp_class ():

    def __init__(self, nrow = 1000000, ncol = 4, timetest = 5):

        self.nrow = nrow
        self.ncol = ncol
        self.timetest = timetest

    def createDataFrame(self):

        print('Check memory before dataframe creating')
        time.sleep(self.timetest)
        self.df = pandas.DataFrame(numpy.random.randn(self.nrow, self.ncol),
            index = numpy.random.randn(self.nrow), columns = list(string.letters[0:self.ncol]))
        print('Check memory after dataFrame creating')
        time.sleep(self.timetest)

    def changeSize(self, from_ = 0, to_ = 100):

        df_new = self.df[from_:to_].copy()
        print('Check memory after changing size')
        time.sleep(self.timetest)

        print('Check memory after deleting initial pandas object')
        del self.df
        time.sleep(self.timetest)

        print('Check memory after deleting copy of reduced pandas object')
        del df_new
        gc.collect()
        time.sleep(self.timetest)

if __name__== '__main__':

    a = temp_class()
    a.createDataFrame()
    a.changeSize()

  • データフレームを作成する前に、私は約を持っています。15MBのメモリ使用量

  • 作成後-67mb

  • サイズ変更後-67mb

  • 元のデータフレームを削除した後-35mb

  • 縮小されたテーブルを削除した後-31mb。

16 mb？

私はWindows7（x64）マシンのパンダでpython 2.7.2（x32）を使用しています。バージョンは0.7.3です。しびれ。バージョンは1.6.1です

4

1 に答える 1

26

指摘すべきいくつかのこと：

  1. 「サイズを変更した後にメモリを確認する」では、元の DataFrame をまだ削除していないため、厳密に多くのメモリを使用します。

  2. Python インタープリターは、OS メモリーを保持することに少し貪欲です。

これを調べたところ、パンダがメモリをリークしていないことを保証できます。私は memory_profiler (http://pypi.python.org/pypi/memory_profiler) パッケージを使用しています:

import time, string, pandas, numpy, gc
from memory_profiler import LineProfiler, show_results
import memory_profiler as mprof

prof = LineProfiler()

@prof
def test(nrow=1000000, ncol = 4, timetest = 5):
    from_ = nrow // 10
    to_ = 9 * nrow // 10
    df = pandas.DataFrame(numpy.random.randn(nrow, ncol),
                          index = numpy.random.randn(nrow),
                          columns = list(string.letters[0:ncol]))
    df_new = df[from_:to_].copy()
    del df
    del df_new
    gc.collect()

test()
# for _ in xrange(10):
#     print mprof.memory_usage()

show_results(prof)

そして、ここに出力があります

10:15 ~/tmp $ python profmem.py 
Line #    Mem usage  Increment   Line Contents
==============================================
     7                           @prof
     8     28.77 MB    0.00 MB   def test(nrow=1000000, ncol = 4, timetest = 5):
     9     28.77 MB    0.00 MB       from_ = nrow // 10
    10     28.77 MB    0.00 MB       to_ = 9 * nrow // 10
    11     59.19 MB   30.42 MB       df = pandas.DataFrame(numpy.random.randn(nrow, ncol),
    12     66.77 MB    7.58 MB                             index = numpy.random.randn(nrow),
    13     90.46 MB   23.70 MB                             columns = list(string.letters[0:ncol]))
    14    114.96 MB   24.49 MB       df_new = df[from_:to_].copy()
    15    114.96 MB    0.00 MB       del df
    16     90.54 MB  -24.42 MB       del df_new
    17     52.39 MB  -38.15 MB       gc.collect()

実際、開始時よりも多くのメモリが使用されています。でも漏れてる？

for _ in xrange(20):
    test()
    print mprof.memory_usage()

そして出力：

10:19 ~/tmp $ python profmem.py 
[52.3984375]
[122.59375]
[122.59375]
[122.59375]
[122.59375]
[122.59375]
[122.59375]
[122.59375]
[122.59375]
[122.59375]
[122.59375]
[122.59375]
[122.59375]
[122.59375]
[122.59375]
[122.59375]
[122.59375]
[122.59765625]
[122.59765625]
[122.59765625]

つまり、実際に起こっていることは、Python プロセスが、ホスト OS からより多くのメモリを要求し続ける (そしてそれを解放する) ことを避けるために使用しているものを考慮して、メモリのプールを保持しているということです。この背後にある技術的な詳細をすべて知っているわけではありませんが、少なくともそれが起こっていることです。

于 2012-05-15T14:22:04.550 に答える