python - ScrapyプロジェクトをscrapydにデプロイするときにHTTPCACHEが機能しない

Question

Scrapyd で HTTPCACHE を使用しようとすると、次のエラーが発生します。

[scrapy] WARNING: Disabled Httpcache Middlware: unable to find scrapy.cfg file to infer project data dir

Answer 1

問題は、http キャッシュがデフォルトで相対パスを使用することhttpcacheです。

これは、スパイダーをコマンド ラインから通常どおり実行する場合は機能しますが、サービスとして実行する場合は機能しません。

解決策は、HTTPCACHE_DIR^[docs]設定を絶対パスに設定することです。