問題タブ [heapy]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
python - Twisted.webでHeapyのメモリプロファイルブラウザを使用する
ツイストPythonコードをHeapyでプロファイリングしようとしています。例(擬似コード):
プロファイルブラウザでHeapyプロファイルの結果を表示するにはどうすればよいですか?
python - 大きなオブジェクトをロードした後のヒープサイズの増加の測定
大きなオブジェクトがロードされたときの python のヒープの合計サイズの増加を調べることに興味があります。heapy が必要なようですが、結果がわかりません。
パンダを含む 350 MB の pickle ファイルがありDataFrame
、これには約 250 万のエントリが含まれています。ファイルをロードし、その後 heapy でヒープを調べると、約 8 MB のオブジェクトしかヒープに追加されていないと報告されます。
これにより、次の出力が得られます。
私を混乱させるのはのTotal size
です8694448 bytes
。それはちょうど 8 MB です。
Total size
全体のサイズを反映しないのはなぜDataFrame
df
ですか?
(python 2.7.3、heapy 0.1.10、Linux 3.2.0-48-generic-pae (Ubuntu)、i686 を使用)
python - IPython セッション中のメモリ内のオブジェクトのサイズ (Guppy を使用?)
Python でオブジェクトの正確なメモリ使用量を特定するのは難しいと読んだことを思い出します。ただし、そのスレッドは 2009 年のものであり、それ以来、Python のさまざまなメモリ プロファイラーについて読んできました (このスレッドの例を参照してください)。また、IPython はここ数か月で大幅に成熟しました (バージョン 1.0 は数日前にリリースされました)。
IPython には whos
、変数名、その型、およびいくつかの基本的なデータ/情報を出力する というマジックが既にあります。
同様に、によって返される各オブジェクトのメモリ内のサイズを取得する方法はありますwho
か? この目的のために既に IPython で利用できるユーティリティはありますか?
グッピーを使う
Guppy (このスレッド で推奨) には、オブジェクト タイプごとの累積メモリ使用量を取得できるコマンドがありますが、残念ながら:
- オブジェクトごとのメモリ使用量は表示されません
- サイズをバイト単位で出力します(人間が読める形式ではありません)
2 つ目については、この回答bytes2human
から適用できる可能性がありますが、最初に解析可能な形式で出力を収集する必要があります。h.heap()
しかし、最初のもの (最も重要なもの) について、Guppy にオブジェクトごとのメモリ使用量を表示させる方法はありますか?
python - python:dictがどのファイルからのものかを判断する方法は?
メモリリークをデバッグしようとしています。これはデーモンとして実行されるスクリプトであり、30 個の異なるファイルに含まれる約 10,000 行のコードに依存関係があります。しばらくすると、メモリ使用量が徐々に増え始めます。
heapy を使用して、成長している辞書であると判断しましたが、辞書が存在するファイルを見つけるにはどうすればよいですか?
python - Python heapy / guppy で切り捨てられたオブジェクト ビューを展開する
django アプリでメモリ リークが発生し、heapy を使用してメモリ スタックをデバッグしました。ようやく問題の原因にたどり着いたと思います。ここで、ソースを特定できるように、文字列の切り詰められた表現を拡張する方法が必要です。グッピーでこれを行う方法はありますか?
1 つのオブジェクトのセット。合計サイズ = 4831096 バイト。インデックス サイズ % 累積 % 表現 (制限付き) 0 4831096 100.0
4831096 100.0 u'< {"to...]}}}]}}}'
これは私が現在していることです