161

似たような文脈で聞かれているかもしれませんが、20分ほど検索しても答えが見つからなかったので質問させていただきます。

Python スクリプト (scriptA.py としましょう) とスクリプト (scriptB.py としましょう) を作成しました。

scriptB では、さまざまな引数を指定して scriptA を複数回呼び出したいと考えています。実行には毎回約 1 時間かかります (巨大なスクリプトであり、多くのことを行います。心配する必要はありません)。すべての異なる引数を同時に使用して scriptA を実行しますが、続行する前にすべての引数が完了するまで待つ必要があります。私のコード:

import subprocess

#setup
do_setup()

#run scriptA
subprocess.call(scriptA + argumentsA)
subprocess.call(scriptA + argumentsB)
subprocess.call(scriptA + argumentsC)

#finish
do_finish()

すべてsubprocess.call()を同時に実行し、すべてが完了するまで待ちたいのですが、どうすればよいですか?

ここの例のようにスレッドを使用しようとしました:

from threading import Thread
import subprocess

def call_script(args)
    subprocess.call(args)

#run scriptA   
t1 = Thread(target=call_script, args=(scriptA + argumentsA))
t2 = Thread(target=call_script, args=(scriptA + argumentsB))
t3 = Thread(target=call_script, args=(scriptA + argumentsC))
t1.start()
t2.start()
t3.start()

しかし、私はこれが正しいとは思いません。

に行く前に、すべての実行が終了したことをどのように確認できdo_finish()ますか?

4

8 に答える 8

219

スレッドをリストに入れてから、Join メソッドを使用します

 threads = []

 t = Thread(...)
 threads.append(t)

 ...repeat as often as necessary...

 # Start all threads
 for x in threads:
     x.start()

 # Wait for all of them to finish
 for x in threads:
     x.join()
于 2012-08-15T12:00:03.550 に答える
191

スクリプトの最後で、オブジェクトのjoinメソッドを使用する必要があります。Thread

t1 = Thread(target=call_script, args=(scriptA + argumentsA))
t2 = Thread(target=call_script, args=(scriptA + argumentsB))
t3 = Thread(target=call_script, args=(scriptA + argumentsC))

t1.start()
t2.start()
t3.start()

t1.join()
t2.join()
t3.join()

したがって、メインスレッドは まで待機しt1、実行t2をt3終了します。

于 2012-08-15T11:54:27.147 に答える
36

入力リストに基づいてリスト内包表記を使用することを好みます。

inputs = [scriptA + argumentsA, scriptA + argumentsB, ...]
threads = [Thread(target=call_script, args=(i)) for i in inputs]
[t.start() for t in threads]
[t.join() for t in threads]
于 2015-08-05T11:19:32.630 に答える
7

以下のようなクラスを用意して、そこから「n」個の関数または console_scripts を追加して、並行して情熱的に実行し、実行を開始して、すべてのジョブが完了するのを待つことができます.. 

from multiprocessing import Process

class ProcessParallel(object):
    """
    To Process the  functions parallely

    """    
    def __init__(self, *jobs):
        """
        """
        self.jobs = jobs
        self.processes = []

    def fork_processes(self):
        """
        Creates the process objects for given function deligates
        """
        for job in self.jobs:
            proc  = Process(target=job)
            self.processes.append(proc)

    def start_all(self):
        """
        Starts the functions process all together.
        """
        for proc in self.processes:
            proc.start()

    def join_all(self):
        """
        Waits untill all the functions executed.
        """
        for proc in self.processes:
            proc.join()


def two_sum(a=2, b=2):
    return a + b

def multiply(a=2, b=2):
    return a * b


#How to run:
if __name__ == '__main__':
    #note: two_sum, multiply can be replace with any python console scripts which
    #you wanted to run parallel..
    procs =  ProcessParallel(two_sum, multiply)
    #Add all the process in list
    procs.fork_processes()
    #starts  process execution 
    procs.start_all()
    #wait until all the process got executed
    procs.join_all()
于 2013-04-30T15:07:45.410 に答える
3

モジュールのドキュメントからthreading

「メインスレッド」オブジェクトがあります。これは、Python プログラムの最初の制御スレッドに対応します。これはデーモン スレッドではありません。

「ダミースレッドオブジェクト」が作成される可能性があります。これらは、「エイリアン スレッド」に対応するスレッド オブジェクトです。これは、C コードから直接など、スレッド モジュールの外部で開始される制御スレッドです。ダミー スレッド オブジェクトの機能は制限されています。それらは常に生きていて悪魔的であると見なされ、join()ed することはできません。エイリアン スレッドの終了を検出することは不可能であるため、それらが削除されることはありません。

したがって、作成したスレッドのリストを保持することに関心がない場合に、これら 2 つのケースをキャッチするには、次のようにします。

import threading as thrd


def alter_data(data, index):
    data[index] *= 2


data = [0, 2, 6, 20]

for i, value in enumerate(data):
    thrd.Thread(target=alter_data, args=[data, i]).start()

for thread in thrd.enumerate():
    if thread.daemon:
        continue
    try:
        thread.join()
    except RuntimeError as err:
        if 'cannot join current thread' in err.args[0]:
            # catchs main thread
            continue
        else:
            raise

すると：

>>> print(data)
[0, 4, 12, 40]
于 2018-07-10T09:55:24.220 に答える
2

たぶん、次のようなもの

for t in threading.enumerate():
    if t.daemon:
        t.join()
于 2017-06-06T12:31:22.750 に答える