問題タブ [pathos]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
python - Pathos.multiprocessing のプールが非ローカルのように見えますか?
私のコードは
さて、実際のより複雑なコードでは、メモリ使用量が増え続けました。コードは何も必要としませんが、12 コアで実行すると、これらの 12 コアは最初はほぼ 1 MB のメモリを消費しますが、数時間のランタイムでは、それぞれ数 GB を消費します。
そのため、プールはメモリ リークを起こすので、反復ごとに閉じた方がよいと考えました。
しかし、今、何度か繰り返した後、
ラインでthis pool.map()。私が新しいものを作成する場合
実行しようとするとtest.map()、同じエラーが発生します。奇妙なことに、新しい変数を初期化しました...pathos.processing.ProcessingPool一意のプロセスプールの機能があり、1つを閉じるとすべてを閉じますか?
pathos.multiprocessing.ProcessingPoolメモリリークなしでループ内に実装する正しい方法は何ですか?
代わりに を使用するmultiprocessing.Poolと、問題は発生しません。
python - pathos プール ステートメントがハングする
私のプログラムは、Pool(5) ステートメントを超えて先に進まないようです。Windowsサーバーでpython 3.6を使用しています.8つの仮想CPUを備えた64ビット仮想マシンです。
コードは以下の通り
ステートメント Pool(5) でハングします。ProcessingPool(5) も試してみましたが、同じ結果でした。
python - Pathos は GDAL モジュールによって作成された SwigPyObject をピクルできません
GDAL モジュール ( https://pypi.org/project/GDAL/ )を使用して大きなラスター イメージを開き、渡された座標タプルのリストで定義されたいくつかの場所で小さなイメージを抽出するクラスがあります。私のコードのこの単純化されたバージョンのように、Pathos を使用して座標の大きなリストを処理したい:
これを実行すると、次のエラーが発生します。
それを見ると、Pathos は Dill と Multiprocess を正しく使用しているように見えます。SwigPyObjects を並行して処理する方法はありますか?
数週間前に同様の質問がありましたが、回答が得られませんでした ( Python pathos error can't pickle SwigPyObject objects )。Python で copy_reg.pickle を使用していますか? )。
Windows 7でPython 3.6.5を使用してこのエラーが発生し、PyCharmで開発し、必要なパッケージがPyPiからダウンロードした.whlファイルからpipインストールされた仮想環境を使用しました（通常はpip installを使用できません私のネットワーク）。
誰かが私に与えることができるどんな助けも素晴らしいでしょう!