RFC2616 ポリシーを使用して解決策を見つけたと思いましたが、スクレイパーの実行時間をテストしても同じようです。だから私はデフォルトのポリシーに戻りました。
image_urls を
'production.pipelines.MyImagesPipeline'
これで、アイテム image_urls に送信した URL をキャッシュするだけで済みます
私の理解では、指定することでポリシーを上書きできます
class DummyPolicy(object):
def should_cache_response(self, response, request):
if image_url in item['image_urls']:
return True
else:
return False
def is_cached_response_valid(self, cachedresponse, response, request):
return True
これを機能させるためのコードの提案はありますか?