問題タブ [scrapyd]

私は slyd で作成されたスパイダーを scrapy - elasticsearch を使用するように構成しようとしているので、構成するために送信-d parameter=valueしています:

これは、settings.py に入れる必要があるデフォルトの構成です。

新しいスパイダーごとにこれらの設定を自動的に生成するように slyd を構成する方法が見つからないため、オプションを-d引数として渡そうとしています。Scrapyd は引き続きスパイダーを実行しますが、elasticsearch には何も保存されません。エラー ログには次のように表示されます。

私はDOWNLOADER_MIDDLEWARES で~/portia/slyd/data/projects/scrap使用するセットアップでポーシャ スクレイピー プロジェクトを持っています。scrap.middlewares.RandomUserAgentMiddlewareRandomUserAgentMiddleware~/portia/slyd/data/projects/scrap/middlewares.py

プロジェクトをデプロイした後、結果の卵には が含まれていないmiddlewares.pyため、次のエラーが発生します。

カスタムミドルウェアも取得するようにscrapyd-deployに指示するにはどうすればよいですか?

編集：

私settings.pyはこれです：http://pastebin.com/8gFU3YEw

また、生成された卵に手動で含めようとしmiddlewares.pyましたが、解決しませんが、それでも同じエラーです。

EC2 でクローラーをスケジュールし、出力を csv ファイル cppages-nov.csv にエクスポートしようとしていますが、クロールを一時停止する必要があるジョブディレクトリ エンケースを作成していますが、ファイルが作成されていません。正しいフィード エクスポートを使用していますか?

別のプロジェクトでこれを行うと、それが表示されます。

私の Scrapy.cfg ファイルは

以下のコマンドを実行すると、以下に示すエラーがスローされることを意味します。

では、scrapyd を介して自分のスクレイピー プロジェクトをデプロイするにはどうすればよいでしょうか。

I recently published a working scrape to scrapyd. I'm getting the error message below when I run the scrape.

I reviewed this closed issue: https://github.com/scrapy/scrapy/issues/86 and implemented the recommended fix per the docs: http://scrapyd.readthedocs.org/en/latest/config.html

My config file lives here: :/etc/scrapyd/conf.d/000-default

I cannot seem to disable the Feedexporter extension by setting items_dir to none. Is there a new way to disable feedexporter in scrapyd?

Config file:

Error Message: