問題タブ [pathos]

pathos ProcessPool を使用しdata()て、多数のデータ ポイントに対して関数を並列に実行するスクリプトがあります。

呼び出された関数はdata()、結果を計算して、呼び出された単一のオブジェクトに送信しますDatabase。多くのプッシュがデータベースに送信されるため、単純なキューを追加しました。キューのサイズが 500 を超えると、データベースにプッシュされます。

この問題は、すべてのデータ ポイントがマップされたが、クラスのキューにまだデータが残っている場合に発生しますDatabase(各プロセスで、プロセス 1 は 100 個、プロセス 2 は 200 個である可能性があります)。

終了時にフラッシュする関数を作成しましたが、すべてのプロセスでその関数を呼び出すにはどうすればよいですか?

チームで行っているいくつかのテスト用の自動化フレームワークを開発しています。この Pickling エラーに遭遇しました。いくつかの調査を行った後、いくつかの解決策に出会い、付属の github ページを確認しました。

• Python マルチプロセッシング ピクルス エラー
• マルチプロセッシング: クラスで定義された関数で Pool.map を使用するには?
• python pathos の酸洗いの問題<---このリンクから、コードが正しいライブラリを参照していることを確認しました。
• https://github.com/uqfoundation/pathos

私はpathosをインストールし、正しく実装したと信じていますが、まだPicklingエラーが発生しています. サンプルコードとトレースバックは次のとおりです。

test_start_callback は、引数を取らない関数を生成するファクトリ関数です。使用されていないコード セグメントを編集しました。

トレースバック

私が見逃しているのは、他のSOリンクで言及されていないこと、またはpathosでもサポートされていないこの関数を渡す方法です。