python - URLとともに追加の値をscrapy Spiderに渡します

Question

(id,url) という形式のタプルのリストがあります。URL のリストから製品をクロールする必要があります。これらの製品がクロールされたら、それらの製品を ID でデータベースに保存する必要があります。

問題は、id を parse 関数に渡して、クロールされたアイテムを id の下に保存できるようにする方法を理解できないことです。

Answer 1

で開始 URL を初期化し、次のようstart_requests()に渡します。idmeta

class MySpider(Spider):
    mapping = [(1, 'my_url1'), (2, 'my_url2')]

    ...

    def start_requests(self):
        for id, url in self.mapping:
            yield Request(url, callback=self.parse_page, meta={'id': id})

    def parse_page(self, response):
        id = response.meta['id']