問題タブ [cprofile]

cProfileを使用してPythonプログラムのプロファイルを作成しています。この話に基づいて、KCacheGrindがcProfileからの出力を解析して表示できるという印象を受けました。

ただし、ファイルをインポートしようとすると、KCacheGrindはステータスバーに「不明なファイル形式」エラーを表示し、そこに座って何も表示しません。

プロファイリング統計がKCacheGrindと互換性を持つ前に、何か特別なことをする必要がありますか？

パッケージバージョン

• KCacheGrind 4.3.1
• Python 2.6.2

私はこれをオンラインのどこでも見つけることができませんでした。私はプロファイラーを使用してコードをより適切に最適化する方法を探していました。どの関数が累積的に最も時間を消費するかで並べ替えると、str（）、print、およびその他の同様の広く使用されている関数がプロファイルの多くを消費します。Pythonプログラムをプロファイリングして、ユーザー定義関数を取得し、コードのどの領域を最適化できるかを確認するための最良の方法は何ですか？

私はそれが理にかなっていることを願っています、あなたがこの主題に当てることができるどんな光でも非常にありがたいです。

長時間実行される python スクリプトのプロファイルを作成しようとしています。このスクリプトは、 gdal モジュールを使用して、ラスター GIS データ セットに対していくつかの空間分析を行います。スクリプトは現在 3 つのファイルを使用します。メイン スクリプトは と呼ばれるラスター ピクセルをループ処理しfind_pixel_pairs.py、単純なキャッシュは にlrucache.pyあり、いくつかのその他のクラスは にありutils.pyます。中程度のサイズのデータ​​セットでコードをプロファイリングしました。 pstats戻り値：

上位 2 つの呼び出しには、メイン ループ (分析全体) が含まれています。残りの呼び出しの合計は、11644 秒のうち 625 未満です。残りの 11,000 秒はどこで費やされますか? それはすべてのメインループ内にありfind_pixel_pairs.pyますか? もしそうなら、コードのどの行が最も多くの時間を費やしているかを調べることはできますか?

こんにちは、専門家の Pythonists です。プログラムのより詳細なタイミング情報を取得するために、cProfile を使用し始めています。ただし、かなりのオーバーヘッドがあることは非常に気がかりです。以下のコードで、time モジュールが 2 秒しか報告していないのに、cProfile が 7 秒を報告した理由は何ですか?

初心者の質問で申し訳ありませんが、cProfileがわかりません（私はPythonを初めて使用します）

私はそれを私のターミナルを介して実行することができます：

ただし、Webサーバーで実行する必要があるため、コマンドをスクリプト内に配置します。どうすればいいですか？私は次のような用語を使用しているものを見てきまし__init__ and __main__たが、それらが何であるかを本当に理解していません。

私はこれが単純であることを知っています、私はまだすべてを学ぼうとしているだけです、そして私はこれを知っている誰かがいることを知っています。

前もって感謝します！それは有り難いです。

サーバー上のスクリプトでcProfileまたはline_profileを実行する方法はありますか？

つまり、 http：//www.Example.com/cgi-bin/myScript.pyにある2つの方法のいずれかの結果を取得するにはどうすればよいですか。

ありがとう！

いくつかの Web ページを取得して情報を解析するスクリプトがあります。

(例はhttp://bluedevilbooks.com/search/?DEPT=MATH&CLASS=103&SEC=01で見ることができます)

その上でcProfileを実行しましたが、想定どおり、urlopenには多くの時間がかかります。ページをより速く取得する方法はありますか? または、一度に複数のページを取得する方法はありますか? 私はPythonとWeb開発に慣れていないので、最も簡単なことは何でもします。

前もって感謝します！:)

更新: という関数がありますfetchURLs()。これを使用して、必要な URL の配列を作成します。URLurls = fetchURLS()はすべて Amazon および eBay API からの XML ファイルです (これは、ロードに時間がかかる理由について私を混乱させます。私のウェブホストは遅いですか？）

私がする必要があるのは、各 URL を読み込み、各ページを読み取り、そのデータをスクリプトの別の部分に送信して、データを解析して表示することです。

すべてのページがフェッチされるまで、後半を実行できないことに注意してください。それが私の問題です。

また、私のホストでは、一度に 25 プロセスに制限されていると思います。そのため、サーバー上で最も簡単なものは何でもいいでしょう :)

ここに時間があります：

sleep(n)多くのステートメントを含むスクリプトのプロファイリングを開始しました。全体として、私は実行時間の99％以上を睡眠に費やしています。それでも、実際の作業中にパフォーマンスの問題が発生することがありますが、kcachegrindを使用する場合など、関連する興味深いプロファイリングデータを特定するのは非常に困難になります。

特定の呼び出し/関数がプロファイリングされないようにブラックリストに登録する方法はありますか？または、プロファイリングデータファイルの後処理を使用して、このような呼び出しを除外するにはどうすればよいですか？

私はprofilestatsデコレータ（http://pypi.python.org/pypi/profilestats）を使用しています。

ありがとう

Pythonコードのプロファイルを作成したいと思います。私はよく知ってcProfileいて、それを使用していますが、レベルが低すぎます。（たとえば、プロファイリングしている関数からの戻り値を取得する簡単な方法すらありません。）

私がやりたいことの1つは、プログラムの関数を取得し、プログラムの実行中にその場でプロファイルされるように設定したいことです。

たとえばheavy_func、プログラムに関数があるとします。heavy_funcプログラムを起動して、関数自体をプロファイルしないようにしたい。heavy_funcしかし、プログラムの実行中に、実行中にプロファイル自体に変更したい場合があります。（プログラムの実行中にどのように操作できるか疑問に思っている場合は、デバッグプローブから、またはGUIアプリに統合されているシェルから操作できます。）

このようなことを行うモジュールはすでに書かれていますか？自分で書くことはできますが、前に聞きたかったので、車輪の再発明はしません。