次のような構造の Web サイトをスクレイピングしています。
Archive
Article 1
Authors
Author 1
Author 2
Title
Body
Comments
Comment 1
Comment 2
...
の各著者にAuthors
は、独自のプロフィール ページがあります。問題は、著者が複数の記事を書いていることです。そのため、スパイダーがサイトをクロールするたびに、同じ著者のプロファイルを何度もスクレイピングすることになります。
Scrapy で作成者プロファイルをキャッシュするにはどうすればよいですか?