1

Python Scrapy を使用して、Web サイトのソースから画像を取得しようとしています。

アクセスされていないパイプラインの process_item メソッドを除いて、すべてが正常に機能します。

ここに私のファイルがあります：

設定.py:

BOT_NAME = 'dealspider'
SPIDER_MODULES = ['dealspider.spiders']
NEWSPIDER_MODULE = 'dealspider.spiders'

DEFAULT_ITEM_CLASS = 'dealspider.items.DealspiderItem'

ITEM_PIPELINES = ['scrapy.contrib.pipeline.images.ImagesPipeline', dealspider.ImgPipeline.MyImagesPipeline']

IMAGES_STORE = '/Users/Comp/Desktop/projects/ndailydeals/dimages/full'

Imgパイプライン:

class MyImagesPipeline(ImagesPipeline):

    def get_media_requests(self, item, info):
        print "inside get_media_requests"
        for image_url in item['image_urls']:

            yield Request(image_url)

    def item_completed(self, results, item, info):

        image_paths = [x['path'] for ok, x in results if ok]
        if not image_paths:
            raise DropItem("Item contains no images")
        item['image_paths'] = image_paths
        print "inside item_completed"
        return item



    def process_item(self, item, spider):
        if spider.name == 'SgsnapDeal':
            print "inside process_item"
            # some code not relevant to the qn
            deal = DailyDeals(source_website_url=source_website_url, source_website_logo=source_website_logo, description=description, price=price, url=url, image_urls=image_urls, city=city, currency=currency)
            deal.save()

クローラーの実行時に「process_item 内」を取得しない。また、scrapy.contrib.pipeline.images.py ファイルに process_item 関数を追加しようとしましたが、それもうまくいきません!

def process_item(self, item, info):
    print "inside process"
    pass

問題：すべてが機能し、画像がダウンロードされ、image_pathsが設定されます.get_media_requestsとitem_completedがMyImagesPipelineで機能することは知っていますが、いくつかのprintステートメントのために、process_itemではありません!! どんな助けでも大歓迎です..

編集：他の関連ファイルは次のとおりです。

クモ：

from scrapy.spider import BaseSpider
from dealspider.items import DealspiderItem
from scrapy.selector import HtmlXPathSelector
from scrapy.contrib.pipeline.images import ImagesPipeline


class SG_snapDeal_Spider(BaseSpider):
    name = 'SgsnapDeal'
    allowed_domains = ['snapdeal.com']
    start_urls = [
        'http://www.snapdeal.com',
        ]

    def parse(self, response):
        item = DealspiderItem()

        hxs = HtmlXPathSelector(response)
        description = hxs.select('/html/body/div/div/div/div/div/div/div/div/div/a/div/div/text()').extract()  
        price = hxs.select('/html/body/div/div/div/div/div/div/div/div/div/a/div/div/div/span/text()').extract()
        url = hxs.select('/html/body/div/div/div/div/div/div/div/div/div/a/@href').extract()
        image_urls = hxs.select('/html/body/div/div/div/div/div/div/div/div/div/a/div/div/img/@src').extract()

        item['description'] = description
        item['price'] = price
        item['url'] = url
        item['image_urls'] = image_urls
        #works fine!!
        return item

SPIDER = SG_snapDeal_Spider()

Items.py:

from scrapy.item import Item, Field

class DealspiderItem(Item):
    description = Field()
    price = Field()
    url = Field()
    image_urls = Field()
    images = Field()
    image_paths = Field()
4

1 に答える 1

1

process_itemアイテムをデータベースに保存する別のパイプラインを配置する必要があります。ではありませんimages pipeline。

次のような別のパイプラインを作成します

class OtherPipeline(object):
  def process_item(self, item, info):
    print "inside process"
    pass

それpiplelineをsettingsファイルに含めます

于 2013-01-30T01:49:40.390 に答える