問題タブ [pathos]

コンピューターの複数の CPU を利用しようとしています。ただし、BeautifulSoupオブジェクトの一部として関数によって返されるSQLAlchemyオブジェクト は、pickle または cPickle で pickle 化できないため、任意の python オブジェクトを pickle できるように使用するパッケージのフォークであるpathosを使用しています。ピクルできないオブジェクトでディルをテストしたところ、うまくいったので、問題は解決すると思いました。ただし、pathos を使用すると、以前と同じ問題が発生します。主に、関数は完了しますが、結果は返されません。which complete で確認しましたが、multiprocssingdillpool.mapresults = pool.amap(myfunc, myarglist)results.get()そうではありません。残念ながら、このページの html を投稿することはできず (公開されていません)、再現可能な問題の例を見つけることができませんでした。この回答には、大きなオブジェクトのマルチプロセッシングをトラブルシューティングするための関数が含まれていますが、残念ながら、それ自体Queueでは実装されていないようですpathos(おそらくpool.map関数内のフードの下でのみ)。私は0.2a1.devpython 2.7でpathosのバージョンを使用しています（ソースからコンパイルする前にpipで依存関係がインストールされています）。キーボード割り込みのトレースバックは次のとおりです。

これは、マルチプロセッシングで開いているファイルが多すぎます.Poolに関するものです

私は同様の問題を抱えています。私のセットアップは、この単純なスクリプトを実行するクアッドコアを備えたUbuntuです（pathos == 0.2a1.devを使用したpython 2.7、pathosはmpマップがクラスメソッドで動作できるようにするためにのみ使用されています）プロセスごとに個別のファイルを記録します。

なぜpythonはロガーファイルを閉じないのですか???

これがコードです...

エラーは次のとおりです。

開いているファイルが多すぎるというエラーが 15336 から始まることがわかります。また、このスクリプトがデバッグ中に、このスクリプトに対して 16K のファイルが開いていることがわかります。

私はいくつかの異なるコンピューターでマルチプロセッシングを利用しようとしていますが、これはpathos次のことを目的としているようです。しかし、ドキュメントを見ると、クラスターを起動して実行する方法について途方に暮れています。私は探しています：

1. 安全な認証を使用して、リモート サーバーまたはリモート サーバーのセットをセットアップします。
2. リモート サーバーに安全に接続します。
3. pool.map標準のマルチプロセッシング パッケージ (この関連する質問の疑似コードなど) のような単純な API を使用して、リモート サーバーとローカル マシンの両方のすべての CPU にタスクをマップします。

(1) の例が見当たらず、(2) のトンネルの例がわかりません。この例では、実際にはローカルホスト上の既存のサービスに接続していません。また、他の誰かがサーバーに接続するのを防ぐために、この通信に何らかのパスワード/キーを要求できるかどうか/その方法を知りたいです。これが SSH 認証を使用していることは理解していますが、トラフィックがインターネットを通過するときに読み取られないことを保証するだけで、他の誰かがサーバーをハイジャックするのを防ぐために何もしない既存のキーがありません。

多くのディストリビューションに scipy を適用したいと考えており、そのためにある種のマルチプロセッシングを使用したいと考えています。このようなもの：

もちろん、方法 0 はマルチプロセッシングではありませんが、機能します。方法 1 と 2 はどちらも長いトレースバックを返します。これに対する回避策はありますか？

方法 1 エラー:

方法 2 エラー:

マルチプロセッシングを介してクラスメソッドを使用してコードを並列化しようとしています。基本的な構造は次のとおりです。

これが通常のマルチプロセッシングで失敗した後、Pickle とマルチプロセッシングの問題に気付いたので、multiprocessing.pathos で解決しようとしました。しかし、私はまだ得ています

pickle.py からの多くのエラーと共に。この実際的な問題は別として、なぜ myfunc の最終結果以外がピクルス化されているのか、私にはよくわかりません。