Scrapydを使用して実行をスケジュールするときに実行されるスパイダーのインスタンスを取得する方法はありますか? 実行外で処理するためにスパイダーの属性にアクセスする必要があり、json/csv ファイルを使用してこれを行うことはできません。
1 に答える
0
ここで必要なものを見つけました:spider_closeメソッドを使用して、スパイダーが閉じる直前に必要なコードを実行します。
パイプラインの__init__メソッドに以下を追加する必要があります (そうしないと、spider_closedシグナルを受信しません)。
dispatcher.connect(self.spider_opened, signals.spider_opened)
dispatcher.connect(self.spider_closed, signals.spider_closed)
于 2013-12-26T13:04:19.457 に答える