これは私のコードで、スパイダーはリンクをたどっていません InitSpider のサブクラスがあります
class TestSpider(InitSpider):
name = 'login'
allowed_domains = ['example.com']
start_urls = ['http://www.example.com']
rules = (Rule(SgmlLinkExtractor(allow=('example\.com', 'PostSearch'),restrict_xpaths = "//dd[@class='nextPage']"), callback='parse_items', follow=True),)
def parse_items(self, response):
hxs = HtmlXPathSelector(response)