4

Celeryタスクでモジュールを動的にインポートすることは可能ですか?

たとえばhello.py、作業ディレクトリで呼び出されるモジュールがあります。

$ cat hello.py 
def run():
    print('hello world')

次の方法で動的にインポートできますimportlib。

$ python3
Python 3.5.2 (default, Jul  5 2016, 12:43:10) 
[GCC 5.4.0 20160609] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import importlib
>>> p = importlib.import_module('hello')
>>> p.run()
hello world

Celeryタスクから上記と同じことをしたい:

@celery.task()
def exec_module(module, args={}):
    print('celery task running: %s' % (module))
    print(args)
    print(os.getcwd())
    print(os.listdir())

    module = importlib.import_module('hello')
    module.run()

タスクの実行時に次のエラーが発生します。

[2016-09-11 17:51:48,132: WARNING/MainProcess] celery@user-HP-EliteBook-840-G2 ready.
[2016-09-11 17:52:05,516: INFO/MainProcess] Received task: web.tasks.exec_module[f24e3d03-5a17-41dc-afa9-541c99b60a35]
[2016-09-11 17:52:05,518: WARNING/Worker-1] celery task running: example_module
[2016-09-11 17:52:05,518: WARNING/Worker-1] {'example_file': '/tmp/tmpo4ks9ql0.xml', 'example_string': 'asd'}
[2016-09-11 17:52:05,518: WARNING/Worker-1] /home/user/Learning/vision-boilerplate
[2016-09-11 17:52:05,518: WARNING/Worker-1] ['run.py', 'requirements.txt', 'gulpfile.js', 'tsconfig.json', 'typings.json', 'package.json', 'vision_modules', 'typings', 'web', 'config', 'hello.py', 'docker-compose.yml', 'ng', 'node_modules', 'Dockerfile']
[2016-09-11 17:52:05,523: ERROR/MainProcess] Task web.tasks.exec_module[f24e3d03-5a17-41dc-afa9-541c99b60a35] raised unexpected: ImportError("No module named 'hello'",)
Traceback (most recent call last):
  File "/usr/local/lib/python3.5/dist-packages/celery/app/trace.py", line 240, in trace_task
    R = retval = fun(*args, **kwargs)
  File "/home/user/Learning/vision-boilerplate/web/__init__.py", line 21, in __call__
    return TaskBase.__call__(self, *args, **kwargs)
  File "/usr/local/lib/python3.5/dist-packages/celery/app/trace.py", line 438, in __protected_call__
    return self.run(*args, **kwargs)
  File "/home/user/Learning/vision-boilerplate/web/tasks.py", line 19, in exec_module
    module = importlib.import_module('hello')
  File "/usr/lib/python3.5/importlib/__init__.py", line 126, in import_module
    return _bootstrap._gcd_import(name[level:], package, level)
  File "<frozen importlib._bootstrap>", line 986, in _gcd_import
  File "<frozen importlib._bootstrap>", line 969, in _find_and_load
  File "<frozen importlib._bootstrap>", line 956, in _find_and_load_unlocked
ImportError: No module named 'hello'

print(os.listdir())(上記のデバッグ出力の 6 行目) の出力から、間違いなく正しいディレクトリにあり、すぐそこにいることに注意してくださいhello.py。

Celery タスク内からモジュールを動的にインポートすることは可能ですか?

4

1 に答える 1

5

2018-05-23 更新:

セロリでは、タスクはワーカーによって消費されます。デフォルトでは、マルチプロセッシングはタスクの同時実行を実行するために使用されます。

ワーカーがタスク関数を呼び出すと、現在の作業ディレクトリ (os.getcwd()) が にsys.pathないため、モジュール名を見つけることができません。

おそらく問題の原因: Celery がワーカー プロセスを開始するとき、現在のプロセスの情報がコピーされません。

Celeryタスクでモジュールを動的にインポートすることは可能ですか?

はい。私はそれをやったからです。モジュールが単一で、どのパッケージにも属していない場合は、モジュールのディレクトリを sys パスに追加する必要があります。

sys.path.append('モジュールのパス')

例えば：

import importlib
import os
import sys
import celery
from demo import celeryconfig

# add your path to the sys path
sys.path.append(os.getcwd())

app = celery.Celery('tasks',)
app.config_from_object(celeryconfig)


@celery.task()
def exec_module(module, args={}):
    print('celery task running: %s' % (module))
    print(args)
    print(os.getcwd())
    print(os.listdir())

    module = importlib.import_module('hello')
    module.run()

お役に立てば幸いです。ありがとう

于 2016-09-13T08:59:34.440 に答える