0

私はDOWNLOADER_MIDDLEWARES で~/portia/slyd/data/projects/scrap使用するセットアップでポーシャ スクレイピー プロジェクトを持っています。scrap.middlewares.RandomUserAgentMiddlewareRandomUserAgentMiddleware~/portia/slyd/data/projects/scrap/middlewares.py

プロジェクトをデプロイした後、結果の卵には が含まれていないmiddlewares.pyため、次のエラーが発生します。

ImportError: Error loading object 'scrap.middlewares.RandomUserAgentMiddleware': No module named scrap.middlewares

カスタムミドルウェアも取得するようにscrapyd-deployに指示するにはどうすればよいですか?

編集：

私settings.pyはこれです：http://pastebin.com/8gFU3YEw

また、生成された卵に手動で含めようとしmiddlewares.pyましたが、解決しませんが、それでも同じエラーです。

4

1 に答える 1

0

これらは settings.py ファイルに配置する必要があります。使用するカスタム ミドルウェアのリストを含む DOWNLOADER_MIDDLEWARES 変数を宣言する必要があります。あなたのケースをカバーする必要がある例を次に示します。

DOWNLOADER_MIDDLEWARES = {
    'scrap.middlewares.RandomUserAgentMiddleware': 5,
}

詳細については、公式のスクレイピー ドキュメントを参照してください。

于 2014-09-17T20:57:06.683 に答える