2

リクエストごとにいくつかの項目がありますが、最初の 1 つ (リクエストごと) のみがパイプラインに到達し、実際には Django モデル インスタンスとして保存されます。

これが私のコードです。何が欠けていましたか?

# my_spider.py
class MySpider(CrawlSpider):
    name = 'my_spider'
    ...

    def parse(self, response):
        x = HtmlXPathSelector(response)
        item = MyDjangoItem()
        headings = x.select('//h2/text()').extract()
        for h in headings:
            item['name'] = h
            yield item

        url = 'http://example.com/next'  # I have custom rules for constructing (not extracting) next url
        yield Request(url, callback=self.parse)

# pipelines.py
class MyPipeline(object):
    def process_item(self, item, spider):
        if spider.name == 'my_spider':
            if item['name']:
                item.save()
        return item
4

1 に答える 1