python - 関数の実行時にインポートされたモジュールが None になる

Question

更新: この投稿の最後にデバッグ情報が追加されています。これにより、Python の状態で非常に厄介なことが明らかになります。

とりわけ、django User オブジェクトをインポートするモジュールがあります。

インポートは正常に機能し、コードがロードされます。ただし、そのモジュールで User オブジェクトを使用する関数を呼び出すと、User が NoneType であるというエラーが発生します。

他にも多数のインポートがあり、関数が呼び出されるまでに None になるモジュールレベルのグローバル変数もあります。

奇妙なことに、これはステージング環境 (Ubuntu 12.04) のみの問題です。これはおそらく、開発作業用の追加の python パッケージを使用したステージングに最もよく似ています。また、生産に優れています。

誰もこれに遭遇したことがありますか?それを引き起こす可能性のあるアイデアはありますか?

コードは次のとおりです。

import urllib
import time
import urlparse

# Django imports
from django.db.models.signals import post_delete
from django.db import models
from django.contrib.auth.models import User

from backends.cache.dualcache import cache

# Piston imports
from managers import TokenManager, ConsumerManager
from signals import consumer_post_delete

KEY_SIZE = 18
SECRET_SIZE = 32
VERIFIER_SIZE = 10

CONSUMER_STATES = (
    ('pending', 'Pending'),
    ('accepted', 'Accepted'),
    ('canceled', 'Canceled'),
    ('rejected', 'Rejected')
)


def generate_random(length=SECRET_SIZE):
    return User.objects.make_random_password(length=length)


class Consumer(models.Model):
    name = models.CharField(max_length=255)
    description = models.TextField()

    key = models.CharField(max_length=KEY_SIZE)
    secret = models.CharField(max_length=SECRET_SIZE)

    status = models.CharField(max_length=16, choices=CONSUMER_STATES, default='pending')

    objects = ConsumerManager()

    def __unicode__(self):
        return u"Consumer %s with key %s" % (self.name, self.key)

    def generate_random_codes(self):
        key = User.objects.make_random_password(length=KEY_SIZE)
        secret = generate_random(SECRET_SIZE)

        while Consumer.objects.filter(key__exact=key, secret__exact=secret).count():
            secret = generate_random(SECRET_SIZE)

        self.key = key
        self.secret = secret
        self.save()

基本的に、必要なものを関数内に再度インポートすることを意味します。

import urllib
import time
import urlparse

# Django imports
from django.db.models.signals import post_delete
from django.db import models
from django.contrib.auth.models import User

from backends.cache.dualcache import cache

# Piston imports
from managers import TokenManager, ConsumerManager
from signals import consumer_post_delete

KEY_SIZE = 18
SECRET_SIZE = 32
VERIFIER_SIZE = 10

CONSUMER_STATES = (
    ('pending', 'Pending'),
    ('accepted', 'Accepted'),
    ('canceled', 'Canceled'),
    ('rejected', 'Rejected')
)


def generate_random(length=SECRET_SIZE):
    return User.objects.make_random_password(length=length)


class Consumer(models.Model):
    name = models.CharField(max_length=255)
    description = models.TextField()

    key = models.CharField(max_length=KEY_SIZE)
    secret = models.CharField(max_length=SECRET_SIZE)

    status = models.CharField(max_length=16, choices=CONSUMER_STATES, default='pending')

    objects = ConsumerManager()

    def __unicode__(self):
        return u"Consumer %s with key %s" % (self.name, self.key)

    def generate_random_codes(self):
        from piston.models import KEY_SIZE, SECRET_SIZE, Consumer
        from django.contrib.auth.models import User
        from piston.models import generate_random

        key = User.objects.make_random_password(length=KEY_SIZE)
        secret = generate_random(SECRET_SIZE)

        while Consumer.objects.filter(key__exact=key, secret__exact=secret).count():
            secret = generate_random(SECRET_SIZE)

        self.key = key
        self.secret = secret
        self.save()

これがスタックトレースです。エラーは次の行によって発生します。

key = User.objects.make_random_password(length=KEY_SIZE)

generate_random_codes 関数で。

Traceback:
File "/sites/tellybug/shared/webserver/local/lib/python2.7/site-packages/django/core/handlers/base.py" in get_response
  111.                         response = callback(request, *callback_args, **callback_kwargs)
File "/sites/tellybug/shared/webserver/local/lib/python2.7/site-packages/django/contrib/admin/options.py" in wrapper
  366.                 return self.admin_site.admin_view(view)(*args, **kwargs)
File "/sites/tellybug/shared/webserver/local/lib/python2.7/site-packages/django/utils/decorators.py" in _wrapped_view
  91.                     response = view_func(request, *args, **kwargs)
File "/sites/tellybug/shared/webserver/local/lib/python2.7/site-packages/django/views/decorators/cache.py" in _wrapped_view_func
  89.         response = view_func(request, *args, **kwargs)
File "/sites/tellybug/shared/webserver/local/lib/python2.7/site-packages/django/contrib/admin/sites.py" in inner
  196.             return view(request, *args, **kwargs)
File "/sites/tellybug/shared/webserver/local/lib/python2.7/site-packages/django/utils/decorators.py" in _wrapper
  25.             return bound_func(*args, **kwargs)
File "/sites/tellybug/shared/webserver/local/lib/python2.7/site-packages/django/utils/decorators.py" in _wrapped_view
  91.                     response = view_func(request, *args, **kwargs)
File "/sites/tellybug/shared/webserver/local/lib/python2.7/site-packages/django/utils/decorators.py" in bound_func
  21.                 return func(self, *args2, **kwargs2)
File "/sites/tellybug/shared/webserver/local/lib/python2.7/site-packages/django/db/transaction.py" in inner
  224.                 return func(*args, **kwargs)
File "/sites/tellybug/shared/webserver/local/lib/python2.7/site-packages/django/contrib/admin/options.py" in add_view
  970.             form = ModelForm(initial=initial)
File "/sites/tellybug/shared/webserver/local/lib/python2.7/site-packages/django/forms/models.py" in __init__
  234.             self.instance = opts.model()
File "/sites/tellybug/shared/webserver/local/lib/python2.7/site-packages/django/db/models/base.py" in __init__
  349.                 val = field.get_default()
File "/sites/tellybug/shared/webserver/local/lib/python2.7/site-packages/django/db/models/fields/related.py" in get_default
  983.         field_default = super(ForeignKey, self).get_default()
File "/sites/tellybug/shared/webserver/local/lib/python2.7/site-packages/django/db/models/fields/__init__.py" in get_default
  379.                 return self.default()
File "/sites/tellybug/releases/b92109dd526607b2af92ad6b7f494f3f06e31bb2/webserver/tellybug/tbapp/models/tellybugapp.py" in generate_new_consumer
  11.     consumer.generate_random_codes()
File "/sites/tellybug/releases/b92109dd526607b2af92ad6b7f494f3f06e31bb2/webserver/tellybug/piston/models.py" in generate_random_codes
  57.   key = User.objects.make_random_password(length=KEY_SIZE)

Exception Type: AttributeError at /admin/tbapp/tellybugapp/add/
Exception Value: 'NoneType' object has no attribute 'objects'

更新: User オブジェクトを削除するだけではありません。何かが関数内のコンテキスト全体を破壊しています。

def generate_random_codes(self):
    """
    Used to generate random key/secret pairings. Use this after you've
    added the other data in place of save().

    c = Consumer()
    c.name = "My consumer"
    c.description = "An app that makes ponies from the API."
    c.user = some_user_object
    c.generate_random_codes()
    """
    import sys
    print "Globals", globals()
    print "Name ", __name__
    print "Package ", __package__
    print "Sys modules", sys.modules['piston.models'].__dict__
    key = User.objects.make_random_password(length=KEY_SIZE)

これらの print ステートメントを使用すると、出力は次のようになります。

Globals {'ColumnFamilyMap': None, 'datetime': None, 'KEY_SIZE': None, 'TokenManager': None, 'ConsistencyLevel': None, 'Nonce': None, 'uuid': None, 'cache': None, 'urllib': None, '__package__': None, 'models': None, 'User': None,  .... }
Name  None
Package  None
Sys modules {'ColumnFamilyMap': <class 'pycassa.columnfamilymap.ColumnFamilyMap'>, 'datetime': <type 'datetime.datetime'>, 'KEY_SIZE': 18, 'NonceType': <class 'piston.models.NonceType'>, 'OAuthToken': <class 'piston.models.OAuthToken'>, 'TokenManager': <class 'piston.managers.TokenManager'>, 'ConsistencyLevel': <class 'pycassa.cassandra.ttypes.ConsistencyLevel'>, 'Nonce': <class 'piston.models.Nonce'>, 'uuid': <module 'uuid' from '/usr/lib/python2.7/uuid.pyc'>,  ...}

__package__との両方が未定義であることに注意してください__name__。これはほとんど不可能だと思いました。モジュールの sys.modules バージョンには正しいがありますが、__dict__からの戻り値globals()はナンセンスです。

score 10 · Accepted Answer

これは、そのモジュールがガベージコレクションされた後も実行中の、インポートされたモジュール内の関数で発生します。

あなたのコードは問題を再現するのに十分ではないため、動作を示す簡単な例を次に示します。以下を含むファイルを作成し、Python コマンドラインまたは別のファイルからインポートします。トップレベルで実行するだけでは機能しません。

import sys
import threading

x = "foo"

def run():
    while True:
        print "%s %s\n" % (sys, x)

threading.Thread(target = run).start()
sys.stdin.readline()

それを実行する：

$ python
>>> import evil_threading
<module 'sys' (built-in)> foo

<module 'sys' (built-in)> foo
... press Ctrl-C
None None

None None
... press Ctrl-\ to kill the Python interpreter

Python のシャットダウン中、モジュールはに設定されNoneます。これは、3.4 で削除されたあいまいな Python の動作です。この例では、メインスレッドを終了するとシャットダウンされますが、他のスレッドはまだ実行されているため、モジュールはとして認識されNoneます。

sys.modules からモジュール参照を直接削除することで同じことを行う、より簡単な例が hereにあります。

import sys
print sys
del sys.modules['__main__']
print sys

python - 関数の実行時にインポートされたモジュールが None になる

1 に答える 1

Related

Reference