パイプラインからスクレイピー クロールをシャットダウンする方法はありますか? 私のパイプラインは URL を処理し、それらをリストに追加します。リストが指定された量に達したら、クローラーをシャットダウンします。私は知ってraise CloseSpider()いますが、スパイダーから呼び出された場合にのみ機能するようです。
質問する
479 次
1 に答える
2
はい、可能です。Crawler.engine.close_spider(spider_name, reason) を呼び出すことができます。
CloseSpider 拡張機能に例があります
于 2012-11-06T23:49:18.847 に答える