4

LinkedIn からのデータ抽出には、scrapy-0.16 を使用しています。

    from scrapy.selector import HtmlXPathSelector
    from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
    from scrapy.contrib.spiders import CrawlSpider, Rule
    from scrapy.http import Request
    from scrapy import log
    from linkedin.items import LinkedinItem, PersonProfileItem
    from os import path
    from linkedin.parser.HtmlParser import HtmlParser
    import os
    import urllib
    from bs4 import UnicodeDammit
    from linkedin.db import MongoDBClient

https://github.com/pondering/scrapy-linkedin

エラーが来る

Traceback (most recent call last):
  File "C:\Users\TAWANE DUDEZ\Desktop\linkedin\linkedin\spiders\LinkedinSpider.py", line 6, in <module>
    from linkedin.items import LinkedinItem, PersonProfileItem
ImportError: No module named linkedin.items

linkedin.itemsモジュールが見つかりません。

4

1 に答える 1

3

scrapy crawl LinkedinSpider私の疑いは、間違ったディレクトリからコマンドを実行しようとしているということです。に移動してからC:\Users\TAWANE DUDEZ\Desktop\linkedin、コマンドを再度実行してみてください。

クローラーが開始されるため、クロールを開始する前に MongoDB インスタンスも実行する必要があります。使用されている github プロジェクトの README には、入力mongodしてインスタンスを開始するように記載されています。確認のために、MongoDB と pymongo が正しくインストールされていますか?

于 2013-03-18T09:13:22.733 に答える