リクエストごとにいくつかの項目がありますが、最初の 1 つ (リクエストごと) のみがパイプラインに到達し、実際には Django モデル インスタンスとして保存されます。
これが私のコードです。何が欠けていましたか?
# my_spider.py
class MySpider(CrawlSpider):
name = 'my_spider'
...
def parse(self, response):
x = HtmlXPathSelector(response)
item = MyDjangoItem()
headings = x.select('//h2/text()').extract()
for h in headings:
item['name'] = h
yield item
url = 'http://example.com/next' # I have custom rules for constructing (not extracting) next url
yield Request(url, callback=self.parse)
# pipelines.py
class MyPipeline(object):
def process_item(self, item, spider):
if spider.name == 'my_spider':
if item['name']:
item.save()
return item