1

マルチプロセッシングPoolクラスを使用して、いくつかの不変オブジェクトに純粋関数をマップしようとしています。ただし、これを実行しようとすると、ターミナルに大量のエラーが表示され（場合によっては数分間続く）、多くの場合、Pythonは「異常な方法で終了する必要があります」。私はPython3.2.2を使用してWindows（XP）で実行しています。

import multiprocessing

def do_stuff(v):
    return v.x + v.y

class Vector:
    __slots__ = ['x', 'y']

    def __setattr__(self, name, value):
        raise AttributeError("Cannot assign values to object {0} of type {1}".format(self, type(self)))

    def __init__(self, x, y = None):
        """Initialize an immutable x, y Vector"""
        object.__setattr__(self, 'x', x)
        object.__setattr__(self, 'y', y)

if __name__ == "__main__":
    todo = [Vector(1, 2), Vector(3, 4), Vector(-1, 12), Vector(16, 32), Vector(16, 32)]
    pool = multiprocessing.Pool(4)
    results = list(pool.map(do_stuff, todo))
    print(results)

期待される出力：

[3, 7, 11, 48, 48]

エラーの数は非常に多いですが、Vectorに属性を設定しようとしているpool.mapの何かに要約されているようです。

Process PoolWorker-1:
Traceback (most recent call last):
  File "c:\Python32\lib\multiprocessing\process.py", line 267, in _bootstrap
Process PoolWorker-2:
Traceback (most recent call last):
  File "c:\Python32\lib\multiprocessing\process.py", line 267, in _bootstrap
    self.run()
  File "c:\Python32\lib\multiprocessing\process.py", line 116, in run
    self._target(*self._args, **self._kwargs)
  File "c:\Python32\lib\multiprocessing\pool.py", line 102, in worker
    task = get()
  File "c:\Python32\lib\multiprocessing\queues.py", line 378, in get
    return recv()
  File "d:\Documents and Settings\Userdir\Scripts\temp\test.py", line 11, in __s
etattr__
    raise AttributeError("Cannot assign values to object {0} of type {1}".format
(self, type(self)))
AttributeError: Cannot assign values to object <__main__.Vector object at 0x00C2
BBB0> of type <class '__main__.Vector'>

__slots__（strange？）で始まる行をコメントアウトするか、通常mapのを使用するか、Vectorクラスを可変にする（コメントアウトする__setattr__）ことができます。これらのいずれかを単独で使用すると、正常に動作します。

オブジェクトからの読み取りだけを行っているのに、なぜオブジェクトに属性を設定しようとしているのでしょうか。

__slots__オブジェクトから削除すると、これが正しく機能するのはなぜですか？

編集：

__slots__プログラムには通常多数のベクターが含まれているため、メモリ/スペースを節約する方法として使用しています。したがって、タプルからVectorを派生させることはできません。long __slots__、str、tupleなどの「可変長」の組み込み型から派生したクラスでは機能しません。

4

1 に答える 1

1

__slots__でピクルス解除の問題を引き起こしmultiprocessingます。たとえば、Pythonマルチプロセッシングピクルスプロトコルを参照してください。

不変性のためにそれを必要としないので（あなた__setattr__はすべての実用的な目的に十分です）、私はあなたがそれを取り除くことを提案します。

スペースを節約するために本当に必要な場合は、実装する__getstate__と__setstate__、ピッキング解除の問題が修正される可能性があります。

于 2012-04-09T19:22:00.847 に答える