1

私がする必要があるのは、異なるコアを使用して、同じデータで同時に 2 つの回帰モデルを (scikit-learn を使用して) トレーニングすることだけです。Process を使用して自分で理解しようとしましたが、成功しませんでした。

gb1 = GradientBoostingRegressor(n_estimators=10)
gb2 = GradientBoostingRegressor(n_estimators=100)

def train_model(model, data, target):
    model.fit(data, target)

live_data # Pandas DataFrame object
target # Numpy array object
p1 = Process(target=train_model, args=(gb1, live_data, target)) # same data
p2 = Process(target=train_model, args=(gb2, live_data, target)) # same data
p1.start()
p2.start()

上記のコードを実行すると、p1 プロセスを開始しようとしているときに次のエラーが発生します。

Traceback (most recent call last):
  File "<pyshell#28>", line 1, in <module>
    p1.start()
  File "C:\Python27\lib\multiprocessing\process.py", line 130, in start
    self._popen = Popen(self)
  File "C:\Python27\lib\multiprocessing\forking.py", line 274, in __init__
    to_child.close()
IOError: [Errno 22] Invalid argument

これをすべて Windows で (IDLE の) スクリプトとして実行しています。どのように進めればよいかについて何か提案はありますか?

4

1 に答える 1

3

わかりました..これを機能させるために何時間も費やした後、ソリューションを投稿します。初めにすること。Windows で対話型インタープリターを使用している場合は、関数定義とインポートを除いて、' main ' 条件の下ですべてのコードをカプセル化する必要があります。これは、新しいプロセスが生成されるとループするためです。

以下の私の解決策：

from sklearn.ensemble import GradientBoostingRegressor
from multiprocessing import Pool
from itertools import repeat

def train_model(params):
    model, data, target = params
    # since Pool args accept once argument, we need to pass only one
    # and then unroll it as above
    model.fit(data, target)
    return model

if __name__ == '__main__':
    gb1 = GradientBoostingRegressor(n_estimators=10)
    gb2 = GradientBoostingRegressor(n_estimators=100)

    live_data # Pandas DataFrame object
    target    # Numpy array object

    po = Pool(2) # 2 is numbers of process we want to spawn
    gb, gb2 = po.map_async(train_model, 
                 zip([gb1,gb2], repeat(data), repeat(target))
                 # this will zip in one iterable object
              ).get()
    # get will start the processes and execute them
    po.terminate()
    # kill the spawned processes
于 2013-05-20T03:25:09.980 に答える