0

Scrapy は、スクレイピングしたいアイテムごとに 2 つの結果を返します。後で CSV ファイルの重複を削除することもできますが、私が見ていないもっと洗練された解決策があるように感じます。わかりませんが、重複によって解析自体が遅くなる可能性もあります。

class kickstarter(CrawlSpider):
    name = 'kickstarter_successful'
    allowed_domains = ['kickstarter.com']    
    start_urls = ['http://www.kickstarter.com/discover/successful']

    rules = (
        Rule(
            SgmlLinkExtractor(allow=r'\?page=\d+'),
            follow=True
        ),
        Rule(
            SgmlLinkExtractor(allow=r'/projects/'),
            callback='parse_item'
        )
    )

    COOKIES_ENABLED = False
    DOWNLOAD_DELAY = 2
    USER_AGENT = "ELinks (0.4pre5; Linux 2.6.10-ac7 i686; 80x33)"

    def parse_item(self, response):
        xpath = HtmlXPathSelector(response)
        loader = XPathItemLoader(item=kickstarteritem(), response=response)

        loader.add_value('url', response.url)
        loader.add_xpath('name', '//div[@class="NS-project_-running_board"]/h2[@id="title"]/a/text()')
        loader.add_xpath('launched', '//li[@class="posted"]/text()')
        loader.add_xpath('ended', '//li[@class="ends"]/text()')
        loader.add_xpath('backers', '//span[@class="count"]/data[@data-format="number"]/@data-value')
        loader.add_xpath('pledge', '//div[@class="num"]/@data-pledged')
        loader.add_xpath('goal', '//div[@class="num"]/@data-goal')

        yield loader.load_item()
4

1 に答える 1

0

ログに 2 つの異なる URL があり、どちらも同じページを指している場合は、次のようにして URL を自分で少し正規化できますprocess_value。

Rule(
    SgmlLinkExtractor(
        allow=r'/projects/', 
        process_value=lambda v: v.replace('ref=card','')),
    callback='parse_item')
于 2013-03-18T16:21:48.520 に答える