0

RFC2616 ポリシーを使用して解決策を見つけたと思いましたが、スクレイパーの実行時間をテストしても同じようです。だから私はデフォルトのポリシーに戻りました。

image_urls を

'production.pipelines.MyImagesPipeline'

これで、アイテム image_urls に送信した URL をキャッシュするだけで済みます

私の理解では、指定することでポリシーを上書きできます

class DummyPolicy(object):

def should_cache_response(self, response, request):
    if image_url in item['image_urls']:
        return True
    else:
        return False


def is_cached_response_valid(self, cachedresponse, response, request):
    return True

これを機能させるためのコードの提案はありますか?

4

1 に答える 1