python - Scrapy 拡張クラスのメンバー変数がスパイダーに表示されないが、パイプラインからアクセスできるのはなぜですか?

Question

一般的なパス変数やその他のものを設定するために、スクレイピーで拡張機能を作成しました。したがって、出力パスが変更された場合でも、1 つのファイルのみを変更する必要があります。しかし、スパイダー内のそのパスにアクセスできません。

以下は拡張用のコードです。

import datetime,re,os,random
from scrapy import signals
from scrapy.spider import Spider
from scrapy.conf import settings

class Common(object):
    output_dir = ''

    @classmethod
    def from_crawler(cls, crawler):
        settings = crawler.settings

        if settings['DATE']:
            cls.output_dir = 'output/' + settings['DATE'] + '/'
        else:
            cls.output_dir = 'output/' + datetime.date.today().strftime('%Y-%m-%d') + '/'

上記の拡張機能は、次の設定で有効になっています

EXTENSIONS = {'scrapyproject.common.Common':500,}

私のスパイダーコードは次のとおりです

from scrapyproject.spiderCommon import *

class dmozSpider(CrawlSpider):
    name = 'dmozSpider'
    allowed_domains = ['www.dmoz.org']
    start_urls = ['http://www.dmoz.org']

    rules = (
        Rule(SgmlLinkExtractor(allow=(),), callback='parse_item', follow=True),
    )

    def __init__(self, *a, **kw):
        super(dmozSpider, self).__init__(self, *a, **kw)
        dispatcher.connect(self.my_spider_opened, signals.spider_opened)

    def parse_item(self, response):
        sel = Selector(response)

        vifUrls = sel.xpath('//ul[@class="directory dir-col"]/li/a/@href').extract()
        with open(Common.output_dir + self.name + '.csv', 'a') as f:
            for vifUrl in vifUrls:
                print vifUrl
                f.write("%s\n" % vifUrl)
        pass

    def my_spider_opened(self, spider):
        fo = open(Common.output_dir + self.name + '.csv', "w+")
        fo.truncate()
        fo.close()

SpiderCommon ファイルに次のものが含まれる場所

from scrapyproject.common import *
from scrapy.selector import Selector
from scrapy.xlib.pydispatch import dispatcher
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor

Common.output_dir の値はスパイダー内ではアクセスできませんが、パイプライン内ではアクセスできます。

from scrapyproject.common import *

class XmlExportPipeline(object):
    def __init__(self, **kwargs):
        self.file_count = 1

    @classmethod
    def from_crawler(cls, crawler):
        pipeline = cls()
        crawler.signals.connect(pipeline.spider_opened, signals.spider_opened)
        crawler.signals.connect(pipeline.spider_closed, signals.spider_closed)
        return pipeline

    def spider_opened(self, spider):
        print Common.output_dir

    def spider_closed(self, spider):
        self.file_count = self.file_count + 1

    def process_item(self, item, spider):
        return item

スパイダーの上で実行しようとすると、[scrapy] DEBUG: Web service listen on 0.0.0.0:6080で停止し、リンクをクロールせずに完了します。理由は、Common.output_dirの値を取得していないこと です