3

私は Scrapy を初めて使用し、クローラーとスパイダーについてかなり混乱しています。どちらもウェブサイトをクロールしてアイテムを解析できるようです。

Crawlerクラス (/usr/local/lib/python2.7/dist-packages/scrapy/crawler.py) とCrawlerSpiderクラス ( /usr/local/lib/python2.7/dist-packages/scrapy/contrib)があります。/spiders/crawl.py) を Scrapy で。誰かがそれらの違いを教えてくれますか? また、どのような状況でどちらを使用すればよいですか?

よろしくお願いします！

4

1 に答える 1

2

CrawlerSpider は BaseSpider のサブクラスです。これは、「ルール」リストに従ってスパイダーにリンクをたどらせたい場合に拡張する必要がある呼び出しです。「Crawler」は、CrawlerProcess によってサブクラス化されたメインのクローラーです。スパイダーで CrawlerSpider をサブクラス化する必要がありますが、クローラーに触れる必要はないと思います。

于 2012-11-27T13:02:01.893 に答える