python - 複数ページで再帰的にスクレイピー取得リンクを使用する

Question

オンラインで見つけた次のコードを使用して、複数のページのリンクを再帰的にスクレイピングしています。すべてのページで必要なすべてのリンクを再帰的に返すことになっています。しかし、最大で 100 リンクしか取得できませんでした。どんなアドバイスも役に立ちます。

class MySpider(CrawlSpider):
    name = "craigs"
    allowed_domains = ["craigslist.org"]
    start_urls = ["http://seattle.craigslist.org/search/jjj?is_parttime=1"]   

    rules = (Rule (SgmlLinkExtractor(allow=("index\d00\.html", ),restrict_xpaths=('//a[@class="button next"]',))
    , callback="parse_items", follow= True),
    )

    def parse_items(self, response):
        hxs = HtmlXPathSelector(response)
        titles = hxs.select('//span[@class="pl"]')
        items = []
        for titles in titles:
            item = CraigslistSampleItem()
            item ["title"] = titles.select("a/text()").extract()
            item ["link"] = titles.select("a/@href").extract()           
            items.append(item)     
        return(items)