python - 完了したスクレイプのスクレイピー電子メール ファイル

Question

一定の間隔で実行されるスクレイピングがあります。スクレイプが完了したらメールを送信したい。これを行うための最良の方法は何ですか？

拡張機能を作成することを考えていましたが、拡張機能内から出力が書き込まれているファイルにアクセスする方法がわかりません。

Answer 1

Spider_closedシグナルをフックして、 scrapy.mail.MailSenderサービスを使用することを検討しましたか?

Scrapy.signals.spider_closed(スパイダー、理由)

[...]

reason (str) – スパイダーが閉じられた理由を説明する文字列。スパイダーがスクレイピングを完了したために閉じられた場合、その理由は 'finished'です。