10

同じプロジェクト内で複数のスパイダーを一緒に使用できるかどうか知りたいです。実は2匹の蜘蛛が必要です。最初のものは、2番目のクモがこすり落とす必要があるリンクを収集します。どちらも同じウェブサイトで動作するため、ドメインは似ていますが、可能ですか？はいの場合、例を挙げていただけますか？ありがとう

4

1 に答える 1

14

多分これはあなたが探しているものです：

def parse(self, response):
    # parse the links (aka your first spider)
    for link in hxs('//XPATH'):
        yield Request(link.extract(), callback=self.parse_link)

def parse_link(self, response):
    # continue parsing (aka your second spider)

これがお役に立てば幸いです:)

于 2011-02-16T10:27:29.017 に答える