python - スパイダーごとに個別のスクレイピーパイプラインを使用する方法はありますか?

Question

別のドメインで Web ページを取得したいということは、「scrapy crawl myspider」コマンドで別のスパイダーを使用する必要があることを意味します。ただし、Web ページのコンテンツが異なるため、データをデータベースに入れるには別のパイプライン ロジックを使用する必要があります。しかし、スパイダーごとに、settings.py で定義されたすべてのパイプラインを通過する必要があります。スパイダーごとに個別のパイプラインを使用する他のエレガントな方法はありますか?

Answer 1

ITEM_PIPELINES設定は、エンジンの始動時にプロジェクト内のすべてのスパイダーに対してグローバルに定義されます。その場でスパイダーごとに変更することはできません。

考慮すべきいくつかのオプションを次に示します。

• パイプラインのコードを変更します。process_itemパイプラインのメソッドでスパイダーから返されたアイテムの処理をスキップ/続行します。例:

  def process_item(self, item, spider): 
      if spider.name not in ['spider1', 'spider2']: 
          return item  
  
      # process item
  

• クロールの開始方法を変更します。パラメータとして渡されたスパイダー名に基づいてスクリプトからITEM_PIPELINES実行し、呼び出す前に設定をオーバーライドしますcrawler.configure()。

以下も参照してください。

• スクレイピー。クロールを開始した後にスパイダーの設定を変更するには?
• スパイダー固有の設定を使用できますか?
• 複数の Web サイトに 1 つの Scrapy スパイダーを使用する
• 関連する回答

それが役立つことを願っています。