0

EclipseでPython2.7を使用しています。Scrapyを使用して基本的なWebスクレイパーを構築するチュートリアルを行っています。ここにリンクがあります。

http://www.youtube.com/watch?v=4fbvkMhvsWY

コマンドプロンプトでスクレーパーを起動する前に、次のコード行を試行すると「未解決のインポート」エラーが発生しました。

from scrapy.spider import BaseSpider

from scrapy.selector import HtmlXPathSelector

次のコマンドを使用してコマンドプロンプトでクロールしようとすると、次のようになります。

スクレイプクロールmyfile

「スパイダーが見つかりません：myfile」というエラーが表示されます。

また、items.pyファイルに別の未解決のインポートエラーが発生します。「フィールド」は「未解決のインポート」エラーを受け取るだけでなく、「未使用のインポート」エラーも受け取ります。

items.pyファイルからのコード：

from scrapy.item import Item, Field

スパイダーファイルのコードは次のとおりです。

スパイダーファイル（Tutorial1.pyという名前）

from scrapy.spider import BaseSpider

from scrapy.selector import HtmlXPathSelector

class Tutorial1 (BaseSpider):
    name="Tutorial1"

    allowed_domains=['http://wikipedia.org']
    start_urls = ["http://en.wikipedia.org/wiki/Home_page",]

    def parse(self, response):
        hxs = HtmlXPathSelector(response)
        print hxs.select('//div/a').extract()

また、他のチュートリアルを行おうとすると、同じ問題が発生し、これが自分のディレクトリに関係していると思います。でもわかりません。

私は他の個人が同様の問題を抱えていることを発見しました。

Scrapy：ImportError：itemsという名前のモジュールがありません

Scrapyスパイダーが機能していません

私のシステムパスは次のようになります。

C：\ Python27; C：\ Python27 \ Scripts

以下をインポートしてもエラーは発生しません。

import zope.interface

import twisted

import lxml

import OpenSSL

import scrapy

これを理解するのを手伝ってください。前もって感謝します。

4

1 に答える 1

0

scrapy crawlスパイダーの名前は、コマンドで使用する必要があるパラメーターです。この名前はスパイダー コード ( name = "Tutorial1") で設定されるため、コマンドを実行scrapy crawl Tutorial1するとコマンド ラインの問題が修正されます。

インポート エラーに関しては、あなたが Windows を使用していることに気付きました。Windows (7) への Scrapy のインストールは、他のオペレーティング システムよりも複雑になる可能性があります。この記事では、pyopenssl、w3lib、pywin32 を追加でインストールすることをお勧めします。

使用しているスクレイピーのバージョンは何ですか?

于 2013-01-12T20:35:32.150 に答える