6

djangoビューでスクレイプスパイダーを呼び出すのに問題があります。これどうやってするの？このチュートリアルhttp://tryolabs.com/Blog/2011/09/27/calling-scrapy-python-script/に従おうとしましたが、インポート設定で機能しませんでした。

4

2 に答える 2

2

エラーが発生している場合

from scrapy.conf import settings

Scrapyが期待する設定ファイルを見つけられないことが原因である可能性があります。Djangoではdjango独自の構成に使用するのが通例なのでsettings、その用語を使用しないのが最も明確です。

Django設定内でスクレイプ設定を指定できます。

"""settings.py"""
# stuff

SCRAPY_SETTINGS = {
    ... # put your usual scrapy keys and values here
}

# more stuff

次に、をインポートscrapy.conf.settingsする代わりに、次を使用できます。

from django.conf import settings

スクリプトでスクレイプ設定を参照する場合は、CrawlerProcessの引数をsettings.SCRAPY_SETTINGSに変更する必要があります。

self.crawler = CrawlerProcess(settings.SCRAPY_SETTINGS)

さらに問題が発生した場合は、発生したエラー全体とビューのコードを投稿してください。

于 2014-02-26T20:45:32.273 に答える
0

または、次のように設定オブジェクトを作成することもできます。

from scrapy.settings import Settings
settings = Settings()
settings.setmodule('path.to.scrapy.settings', priority='project')
于 2015-05-12T02:06:19.590 に答える