問題タブ [pathos]

サーチャー クラスのパスである sklearn KDTree から多数のベクトルをクエリする必要があります。Python マルチプロセッシングを使用して並列でクエリを実行しようとしていますが、並列コードには単一バージョンとほぼ同じ (またはそれ以上) の時間がかかります。

私は知りたいです

• kd-tree が各ワーカー スレッド間でコピーされている場合
• 検索を並列化する別の方法はありますか (pathos を使用しますか?)

上記のコードでは、pathos マルチプロセッシング ライブラリを使用して、クラスでの Python マルチプロセッシングの問題を回避しています。ただし、酸洗エラーが発生します：

これを修正するにはどうすればよいですか?

上記のコードを実行すると、エラーがスローされます

pathos.multiprocessing が見つかりません

パトスをインポートできません

考えられるすべての方法を試しましたが、解決策が見つかりませんでした。キューで待機して出力を生成する代わりに、10を超える入力を受け取り、マルチプロセッシングを使用してそれらを処理するコードの開発に取り組もうとしていました。そのために、マルチプロセッシングを試しましたが、酸洗エラーがスローされるため、パスを使用しようとしましたが、パスをインポートできないと表示されます。誰でもこれに対する可能な解決策を教えてもらえますか???

私はこの人に似た問題を抱えています。pathos モジュールで単純なマルチプロセッシング ルーチンを実行できず、酸洗エラーが発生します。以下はコードとエラーです。

返されたエラー:

インストールしました：pp、dill、pox、およびマルチプロセッシング、次にpathosをインストールしました。インストールは機能しますが、常に次のエラーが表示されます。

警告: 次の依存関係の 1 つが解決されていません: pp(ft) >=1.6.4.5 dill >=0.2.4 pox >=0.2.2 (マルチ) 処理

同様の質問に対するpathosの作成者からの回答に基づいて、インストールに問題があるようです。適切な依存関係がインストールされていることを確認するたびに、何度か削除して再インストールしました。私はMacOSで実行しており、python 2.7を使用しています。どんな助けでも大歓迎です！

クラスでマルチプロセッシングを行いたい。pathos.multiprocessing だけが私を助けることができるようです。ただし、実装すると、メイン関数で使用するパッケージをロードできません。

間違っているのは、グローバル名 'datetime' が定義されていないことです。しかし、それはメイン関数で動作します! 私のシステムはWin7です。

こんにちは、Windows OSにpythonのpathosパッケージをインストールする方法を教えてください。Windows OSにpathosをインストールしたかったのです。ピクルス化とアンピクルス化でエラーが発生しました。

マシンのコア全体で並列に実行される既存の Python コードがあります。それが完了する仕事は、基本的に入力ファイルを開き、内容を読み取り、かなり重い計算を実行し、結果を出力ファイルに書き込み、for ループで次のファイルを取得して、もう一度実行します。これを多くのコアで並列化するために、ライブラリのPool関数を利用します。multiprocessing簡単な例として：

multiprocessing.Poolこの例は、 8 つのコアにわたって機能を実装した方法を示すために使用されています。本質的mp_workerに、私のコードの関数ははるかに複雑ですが、あなたは私のドリフトを理解しています.

私が取り組んでいるネットワークには、99% の時間アイドル状態になっているマシンがいくつかあることに気付きました。したがって、このコードで自分のローカル コアだけでなく、彼らのコアも利用する方法があるのではないかと考えました。

疑似コードでは、コードは次のようになります。

ローカル マシンと他の IP アドレスの両方を、各マシンで使用するコアの数と共にサーバーとして指定できるようになりました。

私のネットワーク上の他のマシンは私が所有しており、インターネットに接続されていないため、セキュリティ目的で SSH を使用することに煩わされていません。

pathosグーグルで調べてみると、ライブラリとscoopライブラリがこれに役立つ可能性があることに気付きました。pathosライブラリと非常によく似たコマンドを持っているようで、multiprocessing本当に魅力的です。ただし、どちらの場合も、ローカル並列ジョブを分散並列ジョブに変換する方法を示す簡単な例を見つけることができません。multiprocessingライブラリのプール/マップ機能にできる限り近づけたいと思っています。

どんな助けや例も大歓迎です!