1

アウトバウンドリンクをチェックするために、許可されていないドメインでリクエストを行うためのソリューションを探しています。

しかし、私の関数「parse_outboundLinks」は呼び出されません。

許可されたドメインを変更する必要がありますか?

ご協力いただきありがとうございます

私のコード:

    name = "mySpider"
    allowed_domains = ["monsite.fr"]
    start_urls = ["http://www.monsite.fr/"]
    rules = [Rule(SgmlLinkExtractor(allow=()),follow='true',callback='parse_item')]

    def parse_item(self, response):
        xlink = SgmlLinkExtractor(deny_domains=(self.allowed_domains[0]))
        for link in xlink.extract_links(response):
            Request(link.url, callback=self.parse_outboundLinks)

   def parse_outboundLinks(self, response):
         print response.status
4

1 に答える 1

0

解析関数は、yieldが指定されている場合にのみ呼び出されます。に
変更Request(link.url, callback=self.parse_outboundLinks)yield Request(link.url, callback=self.parse_outboundLinks)

他のスレッドでも同様の問題。
Scrapy の Request 関数が呼び出されていません

于 2013-07-15T12:53:34.950 に答える