大量のデータを返すプロセスで map_async を使用しています。通常の map_async では、データがメモリに格納され、すべてが処理されると返されます。これを回避するために、次のジェネレーター アプローチを使用しました。
itertools と multiprocessing を組み合わせますか?
ただし、これではマルチスレッドを十分に活用できません (たとえば、29 個のスレッドが終了し、1 個のスレッドがハングしている場合、全員が完了するまで次のジョブのバッチは開始されません)。map_async を持つ方法はありますか、または各スレッドが終了するときにコールバック関数に戻り値を送信する同様の関数が存在しますか?