私は Python と Scrapy を学んでおり、それを使用して画像をダウンロードする方法を学んでいます。私は今ちょっと立ち往生しており、本当の問題が何であるかを理解できません。
スパイダーを実行すると、このエラー メッセージが表示されます
<None>: Unsupported URL scheme '': no handler available for that scheme
と
[imageflip] WARNING: File (unknown-error): Error downloading image from <GET
ここで私のpipelines.pyを見てください
import scrapy
from scrapy.contrib.pipeline.images import ImagesPipeline
from scrapy.exceptions import DropItem
class PriceoflipkartPipeline(object):
def process_item(self, item, spider):
return item
class MyImagesPipeline(ImagesPipeline):
def get_media_requests(self, item, info):
for image_url in item['image_urls']:
yield scrapy.Request(image_url)
def item_completed(self, results, item, info):
image_paths = [x['path'] for ok, x in results if ok]
if not image_paths:
raise DropItem("Item contains no images")
item['image_paths'] = image_paths
return item
ここで私のsettings.pyを見てください
SPIDER_MODULES = ['PriceoFlipkart.spiders']
NEWSPIDER_MODULE = 'PriceoFlipkart.spiders'
ITEM_PIPELINES = ['scrapy.contrib.pipeline.images.ImagesPipeline']
IMAGES_STORE = 'D:\PriceoFlipkart\Images'
IMAGES_EXPIRES = 90
ここで私のSpiderを見てください
import scrapy
from PriceoFlipkart.items import PriceoflipkartItem
class FlipkartSpider(scrapy.Spider):
name = "imageflip"
allowed_domains = ["flipkart.com"]
start_urls = [
"http://www.flipkart.com/moto-g-2nd-gen/p/itme5z8n9mt77ajr?pid=MOBDYGZ6SHNB7RFC&srno=b_1&ref=06f4e48c-9548-45fa-b3ac-fa5fdf0e0d22"
]
def parse(self, response):
for sel in response.xpath('//body'):
item = PriceoflipkartItem()
item['image_urls'] = sel.select('//img[@class="productImage current"]').extract()
yield item
私のitem.pyに次のコードを追加しました
image_urls = scrapy.Field()
images = scrapy.Field()
イメージがダウンロードされるように正しく設定する方法を教えてください。私はWindows 8マシンを使用しています。前もって感謝します。