1 
scrapy parse --spider=$spider -c parse_thread -d 100 --nolog $url

parse コマンドを使用して処理されるアイテムのパイプラインを有効にする方法はありますか?

4

1 に答える 1

2

コマンドを使用するcrawlと、設定で指定されたパイプラインが使用され、URL を属性に追加できます。start_urlsまたは、これらの URL を取得して特定の関数をコールバックする場合はstart_requests、URL に対して手動でリクエストをオーバーライドして発行できます。

def start_requests(self):
    yield Request(url1, callback=self.my_callback)
    yield Request(url2, callback=self.my_callback)
于 2013-03-28T22:15:34.123 に答える