scrapy - Scrapy を使用して子リンクのみをたどる

Question

Scrapy は初めてで、現在の URL のサブページであるリンクのみをたどるように指示する方法がわかりません。たとえば、ここにいる場合:

www.test.com/abc/def

次に、scrapy を従わせたい:

www.test.com/abc/def/ghi
www.test.com/abc/def/jkl
www.test.com/abc/def/*

だがしかし：

www.test.com/abc/*
www.test.com/*

またはそのことについては他のドメイン。

Answer 1

http://doc.scrapy.org/en/latest/topics/spiders.html#basespider-example

BaseSpider から派生するスパイダーを作成します。basespider parse call back では、フォローする必要のあるリクエストを返す必要があります。生成しているリクエストが好きな形式であることを確認してください。つまり、 を使用して応答から抽出された URL は、現在の URL の子です (これが応答 URL になります)。そしてリクエストオブジェクトを作り、それらを譲ります。