1

私のスクレイピー スパイダーは、すべての Web ページのタイトルを表示してくれます。タイトルとそのタイトルに関連するリンクを表示する方法を教えてください。このページを解析したい。私のコード:

from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.selector import HtmlXPathSelector
from probe1.items import SpiderItem

class SpiderSpider(CrawlSpider):
    name = "spider"
    allowed_domains = ["WEB_PAGE"]
    start_urls = [
    "http://www.WEB_PAGE"
    ]

    rules = (
        Rule(
            SgmlLinkExtractor(allow_domains=("WEB_PAGE",)),
            callback='parse_page', follow=True
        ),
    )


    def parse_page(self, response):
      hxs = HtmlXPathSelector(response)
      print hxs
      sites = hxs.select('//title')
      items = []
      for s in sites:
      item = SpiderItem()
          item['title'] = s.select('//title').extract
          items.append(item)
      return items
4

1 に答える 1

1

response.urlには必要なものが含まれています。

URL

応答の URL を含む文字列。

于 2013-08-29T12:06:15.563 に答える