Python でマルチプロセッシング プールとその.apply_async()メソッドを使用して、複数のワーカーを同時に実行しています。
withただし、任意のインスタンスを作成する代わりに使用することによる問題があります。
これまでに行ったことは次のとおりです。
一般的なセクション コード スニペット:
from multiprocessing import Pool
from concurrent.futures import ProcessPoolExecutor
from time import sleep, time
def worker(x):
print(f"{x} started.")
sleep(x)
print(f"{x} finished.")
return f"{x} finished."
result_list = []
def log_result(result):
result_list.append(result)
Python 2の方法でうまく機能する最初のコード スニペット:
tick = time()
pool = Pool()
for i in range(6):
pool.apply_async(worker, args=(i, ), callback=log_result)
pool.close()
pool.join()
print('Total elapsed time: ', time() - tick)
print(result_list)
print(i) # Indicates that all iteration has been done.
外：
1 started.
2 started.
0 started.
0 finished.
3 started.
4 started.
1 finished.
5 started.
2 finished.
3 finished.
4 finished.
5 finished.
Total elapsed time: 6.022687673568726
['0 finished.', '1 finished.', '2 finished.', '3 finished.', '4 finished.', '5 finished.']
5
Python 3の方法でうまく機能する 2 番目のコード スニペット:
tick = time()
with ProcessPoolExecutor() as executor:
for i in range(6):
executor.submit(worker, i)
print('Total elapsed time: ', time() - tick)
print(i) # Indicates that all iteration has been done.
外：
0 started.
0 finished.
1 started.
2 started.
3 started.
4 started.
1 finished.
5 started.
2 finished.
3 finished.
4 finished.
5 finished.
Total elapsed time: 6.017550945281982
5
追加：
- Python 3の方法はPython 2の方法よりも高速であるという推論が得られる場合があります。
質問：
ここで、 Python 3メソッドなどを使用してPython 2の方法を実装したいのですが、タスクが完了していないという問題があります。with
tick = time()
with Pool() as pool:
for i in range(6):
pool.apply_async(worker, args=(i,), callback=log_result)
print('Total elapsed time: ', time() - tick)
print(result_list)
print(i) # Indicates that all iteration has been done.
外：
Total elapsed time: 0.10628008842468262
[]
5
ただし、いくつかの軽量タスクが終了したsleep(1)後に を配置した場合 (ブロックの確立):pool.apply_async(...)
tick = time()
with Pool() as pool:
for i in range(6):
pool.apply_async(worker, args=(i,), callback=log_result)
sleep(1)
print('Total elapsed time: ', time() - tick)
print(result_list)
print(i) # Indicates that all iteration has been done.
外：
0 started.
0 finished.
1 started.
2 started.
1 finished.
3 started.
4 started.
2 finished.
5 started.
3 finished.
Total elapsed time: 6.022568702697754
['0 finished.', '1 finished.', '2 finished.', '3 finished.']
5
私が逃したものは何ですか？