問題タブ [process-pool]

56 コアのマシンでプロセス プール エグゼキューターを使用して並列インスタンスをトリガーすると、Python スクリプトの実行時間が長くなることがわかります。スクリプト abc.py は、約 1 秒かかる重い Python ライブラリをインポートします。

試験方法

以下のコードも予想される 1 秒かかります

シリアル実行

ただし、以下のコードは 56 コアのマシンで実行するのに 5 秒かかります。

並列実行

プロセス ログで実行時間を確認したところ、スクリプト (abc.py) の実行時間も 1 秒から 4 秒に増加したことがわかりました。誰かがこの動作を理解するのを手伝ってくれますか?

ProcessPool と ThreadPool を使用して同じアクションを実行するのにかかる時間を確認しようとしています。アクションは、1000 API 呼び出しを行い、JSON オブジェクトを返すことです。これを ThreadPool 経由で実行すると、約 68 秒かかります。しかし、同じことはプロセス プールで 0.2 秒しかかかりません。これは、時間を間違って測定しているのではないかと考えさせられます。これについての考えは役に立ちます。参考までに私のコードを以下に貼り付けます。