python - Scrapy Python Crawler-それぞれに異なるスパイダー？

Question

Scrapyを使用してScrapしたいサイトがたくさんあります。私はこれを行うための最良の方法は何だろうと思っていましたか？

スクレイプするサイトごとに異なる「プロジェクト」を使用しますか、それとも異なる「スパイダー」を使用しますか、それともどちらも使用しませんか？

任意の入力をいただければ幸いです

Answer 1

サイトごとに異なるプロジェクトは最悪のアイデアです。

サイトごとに異なるSPIDERを使用することをお勧めします。

1つのSPIDERで複数のサイトを調整できる場合（その性質に基づいて）、最良のアイデアです。

ただし、すべて要件によって異なります。