0 
from scrapy.spider import BaseSpider
from scrapy.selector import HtmlXPathSelector
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
#scrapy crawl dmoz -o items.json -t json
from scrapy.http import Request
from urlparse import urlparse

from manga.items import MangaItem

class MangaHere(CrawlSpider):
    name = "mangahs"
    allowed_domains = ["mangahere.com"]
    start_urls = ["http://www.mangahere.com/seinen/"]
    rules = [Rule(SgmlLinkExtractor(allow = ('//a[@class="next"]')), follow=True, 

        callback='parse_item'),]


#def parse(self, response):
    # get indext depth for every page
   # hxs = HtmlXPathSelector(response)
   # next_link = hxs.select('//a[@class="next"]')
   # index_depth = int(next_link.select('preceding-sibling::a[1]/text()').extract()[0])        
    #create a request for the first page

  #  url = urlparse("http://www.mangahere.com/seinen/")
  #  yield Request(url.geturl(), callback=self.parse_item)

    #create a request for each subsequent page in the form "./seinen/x.html"
 #   for x in xrange(2, index_depth):
 #       pageURL = "http://www.mangahere.com/seinen/%s.htm" % x
 #       url = urlparse(pageURL)
  #      yield Request(url.geturl(), callback=self.parse_item)
    def parse_start_url(self, response):
        list(self.parse_item(response))

    def parse_item(self,response):
        hxs = HtmlXPathSelector(response)
        sites = hxs.select('//ul/li/div')
        items = []
        for site in sites:
            rating = site.select("p/span/text()").extract()      
            desc = site.select("p[2]/text()").extract()
            for i in rating: 
                for p in desc:
                    if float(i) > 4.8 and "ecchi" not in str(p):
                        item = MangaItem()
                        item['title'] = site.select("div/a/text()").extract()
                        item['link'] = site.select("div/a/@href").extract()
                        item['desc'] = site.select("p[2]/text()").extract()
                        item['rate'] = site.select("p/span/text()").extract()         

                        items.append(item)
        return items

コメントされたものは、ここの誰かが私を助けてくれたクロールスパイダーなしでページをクロールする方法です。しかし、私はそれでも、知るためにクロールスパイダーを機能させる方法を学びたいと思っています。

エラーは発生しませんが、0ページをスクレイプし、多くのスレッドをチェックし、何らかの理由でを追加する必要があるように聞こえましたparse_start_urlが、それは役に立ちませんでした。解析関数の名前を変更しても役に立ちませんでした。

何が機能していないのですか？私のルールは間違っていますか、それとも何かが足りませんか？

4

3 に答える 3

1

http://doc.scrapy.org/en/0.12/topics/spiders.htmlではなくURL用である必要allowがありますREGEXxpath

xpathを使用する場合は、次を使用する必要がありますrestrict_xpath

于 2013-01-30T01:56:29.347 に答える
1

ルールを次のように変更する必要があります。

rules = [Rule(SgmlLinkExtractor(allow = ('/\d+.htm')), follow=True, 
    callback='parse_item'),]
于 2013-01-30T10:22:03.713 に答える
0

ルールのコールバックがメソッドと一致しません。CrawlSpiderにはparseという名前のデフォルトのメソッドがあるため、コールバックに一致するdef parse(CrawlSpider)ように変更する必要がありますdef parse_item

于 2013-12-29T22:17:51.347 に答える