python - スクレイピー スパイダー コールバック内から統計を収集する方法は?

Question

スパイダー コールバック内から統計を収集するにはどうすればよいですか?

例

class MySpider(Spider):
     name = "myspider"
     start_urls = ["http://example.com"]

def parse(self, response):
    stats.set_value('foo', 'bar')

import一般的に何をどのように利用できるようにするかがわかりませんstats。

Answer 1

スクレイピー ドキュメント の統計ページを確認してください。from scrapy.stats import statsドキュメントには Stats Collector と記載されていますが、それを使用できるようにするには、スパイダー コードに追加する必要がある場合があります。

編集：自分のトランペットを吹くリスクを冒して、具体的な例を求めている場合は、失敗した URL を収集する方法についての回答を投稿しました。

EDIT2：多くのグーグルの後、どうやらインポートは必要ありません。使うだけself.crawler.stats.set_value()！