3

これは、マルチプロセッシングで開いているファイルが多すぎます.Poolに関するものです

私は同様の問題を抱えています。私のセットアップは、この単純なスクリプトを実行するクアッドコアを備えたUbuntuです（pathos == 0.2a1.devを使用したpython 2.7、pathosはmpマップがクラスメソッドで動作できるようにするためにのみ使用されています）プロセスごとに個別のファイルを記録します。

なぜpythonはロガーファイルを閉じないのですか???

これがコードです...

import multiprocessing
from pathos.multiprocessing import ProcessingPool
import logging

class CreateLogger(object):
    def create_logger(self, i):
        i = str(i)
        logger = logging.getLogger(i)
        hdlr = logging.FileHandler('/tmp/test/{0}.log'.format(i))
        formatter = logging.Formatter('%(asctime)s %(levelname)s %(message)s')
        hdlr.setFormatter(formatter)
        logger.addHandler(hdlr) 
        logger.setLevel(logging.WARNING)
        logger.info('{0}-test'.format(i))
        logger.propagate = 0

if __name__ == '__main__':
    cl = CreateLogger()
    ilist = range(30000)
    pool = ProcessingPool(multiprocessing.cpu_count())
    pool.map(cl.create_logger, ilist)

エラーは次のとおりです。

pydev debugger: starting (pid: 21825)
Traceback (most recent call last):
  File "/opt/eclipse/plugins/org.python.pydev_3.8.0.201409251235/pysrc/pydevd.py", line 2183, in <module>
    globals = debugger.run(setup['file'], None, None)
  File "/opt/eclipse/plugins/org.python.pydev_3.8.0.201409251235/pysrc/pydevd.py", line 1622, in run
    pydev_imports.execfile(file, globals, locals)  # execute the script
  File "/home/amit/workspace/amit/device_polling/tests/simple_mp_test.py", line 21, in <module>
    pool.map(cl.create_logger, ilist)
  File "/miniconda/envs/test/lib/python2.7/site-packages/pathos-0.2a1.dev-py2.7.egg/pathos/multiprocessing.py", line 123, in map
    return _pool.map(star(f), zip(*args)) # chunksize
  File "/miniconda/envs/test/lib/python2.7/site-packages/processing/pool.py", line 130, in map
    return self.mapAsync(func, iterable, chunksize).get()
  File "/miniconda/envs/test/lib/python2.7/site-packages/processing/pool.py", line 373, in get
    raise self._value
IOError: [Errno 24] Too many open files: '/tmp/test/15336.log'

開いているファイルが多すぎるというエラーが 15336 から始まることがわかります。また、このスクリプトがデバッグ中に、このスクリプトに対して 16K のファイルが開いていることがわかります。

amit@sharknado:/tmp/test$ lsof -u amit | grep test | wc -l
lsof: WARNING: can't stat() fuse.gvfsd-fuse file system /run/user/112/gvfs
      Output information may be incomplete.
16622
amit@sharknado:/tmp/test$
4

1 に答える 1

4

私の答えが見つかりました... Pythonはログファイルを閉じないようです。手動で行う必要があります。

__del__まず、ログファイルを閉じるために MyLogger クラスで使用してみました

def __del__(self):
    if self.logger:
        for hdlr in self.logger.handlers:
            self.logger.removeHandler(hdlr)
            hdlr.flush()
            hdlr.close()

私はすぐに、これが呼び出されていないことに気付きました。私は電話しなければなりませんでした。__del__()手動で問題を修正しました。

学んだ:

  1. マルチプロセッシングに問題はありません。期待どおりに動作します。

  2. logging はログ ファイルを閉じません。手動で行う必要があります。

于 2014-11-11T20:47:34.630 に答える