0

Webサイトからデータをダウンロードし、リンクをたどって詳細なデータを取得するスパイダーを作成しました。スパイダーは、デフォルトのスクレイプイメージパイプラインを使用してイメージもダウンロードします。これまでのところ、すべて正常に動作しています。

しかし、[別の検索用語を使用して]スパイダーをもう一度起動すると、画像のダウンロードが機能しなくなります。クロールは想定どおりに機能します。エラーは発生しません。

これはクモです：

class DiscoSpider(BaseSpider):

    def __init__(self, query):
        super( BaseSpider, self ).__init__()
        self.name = "discogs"
        self.allowed_domains = ["discogs.com"]
        self.start_urls = [
            "http://www.discogs.com/search?q=%s&type=release" % query
        ]

    # parse all releases for the current search
    def parse(self, response):
        logging.debug('scrapy.parse')
        hxs = HtmlXPathSelector(response)
        li = hxs.select("//div[@id='page_content']/ol/li")

        items = []
        for l in li:
            item = DiscogsItem()

            ...

            # get the link for the callback for the tracklist
            link = l.select("a/@href").extract()[0]
            item['link'] = '' if link == None else link

            # get the img location
            img = l.select("a/img/@src").extract() 
            item['image_urls'] = [None] if img == None else img 

            # get the url for the tracklist callback
            url = urlparse.urljoin('%s%s' % ('http://www.', self.allowed_domains[0]), link)

            # request and callback to get tracklist for release
            item = Request(url, meta={'item':item}, callback=self.parse_tracklist)

            items.append(item)
            yield item        

    # callback to get the tracklist for each release
    def parse_tracklist(self, response):
        item = response.request.meta['item']

        hxs = HtmlXPathSelector(response)
        rows = hxs.select("//div[@class='section_content']/table[@class='playlist mini_playlist']/tr")
        tracklist = []

        for row in rows:
            track = {}

            title = row.select("td[@class='track']/span[@class='track_title']/text()").extract()
            track['title'] = '' if title in [None, '', []] else self.clean_track(title[0])

            ...

            tracklist.append(track)

        item['tracklist'] = tracklist    
        yield item

これはアイテムです：

class DiscogsItem(Item):
    # define the fields for your item here like:
    link = Field()
    artist = Field()
    release = Field()
    label = Field()
    year = Field()
    tracklist = Field()
    image_urls = Field()
    images = Field()
    thumb = Field()

私のスクレイプ設定では：

ITEM_PIPELINES = ['scrapy.contrib.pipeline.images.ImagesPipeline']
IMAGES_STORE = '/home/f/work/py/discogs/tmp'
CONCURRENT_REQUESTS = 100
CONCURRENT_REQUESTS_PER_IP = 20
IMAGES_EXPIRES = 0

PyQt-UIからスパイダーを別のプロセスで実行し、Scrapy / PyQT / StackOverflowを初めて使用します（フォーマットが正しくないことをお詫びします）。

私はPython2.7、PyQt4、Scrapy0.12.0.2546を搭載したXubuntu12.04ボックスを使用しています。

2番目の画像のダウンロードが機能しない理由を誰かが知っていますか？

前もって感謝します。

4

1 に答える 1

0

私は今、自分の質問に答えていますが、問題が何であったかはよくわかりません。私が行ったことは、次のようにスパイダーのコンストラクターを変更することです。

class DiscogsSpider(CrawlSpider):

    name = "discogs"
    allowed_domains = ["discogs.com"]

    def __init__(self, query):
        super( DiscogsSpider, self ).__init__()
        self.start_urls = [
            "http://www.discogs.com/search?q=%s&type=release" % query
        ]

BasSpiderの代わりにCrawlSpiderも拡張しました。画像のダウンロードが期待どおりに機能するようになりました。

ありがとう。

于 2013-02-26T11:43:34.327 に答える