0

SgmlLinkExtractor に URL を追加するにはどうすればよいですか? つまり、コールバックを実行する任意の URL を追加するにはどうすればよいですか?

例として dirbot を使用して詳しく説明するには: https://github.com/scrapy/dirbot/blob/master/dirbot/spiders/googledir.py

parse_categoryは、SgmlLinkExtractor に一致するすべてのものにのみアクセスします SgmlLinkExtractor(allow='directory.google.com/[AZ][a-zA-Z_/]+$')

4

2 に答える 2

0

CrawlSpider の代わりに BaseSpider を使用し、add を start_requests または start_urls [] に設定します。

class MySpider(BaseSpider):
    name = "myspider"

    def start_requests(self):
        return [Request("https://www.example.com",
            callback=self.parse)]

    def parse(self, response):
        hxs = HtmlXPathSelector(response)
        ...
于 2011-11-21T05:06:03.820 に答える
0

クラス ThemenHubSpider(CrawlSpider):

name = 'themenHub'
allowed_domains = ['themen.t-online.de']
start_urls = ["http://themen.t-online.de/themen-a-z/a"]
rules = [Rule(SgmlLinkExtractor(allow=['id_\d+']), 'parse_news')]
于 2013-01-15T16:42:10.327 に答える