5

Amazon S3 で Scrapy を使用するのは非常に簡単で、次のように設定します。

  • FEED_URI = 's3://MYBUCKET/feeds/%(名前)s/%(時間)s.jl'
  • FEED_FORMAT = 'jsonlines'
  • AWS_ACCESS_KEY_ID = [アクセスキー]
  • AWS_SECRET_ACCESS_KEY = [秘密鍵]

すべてがうまく機能します。

しかし、Scrapyd はその設定をオーバーライドし、アイテムをサーバーに保存するようです (Web サイト内のリンクを使用)。

「items_dir =」設定を追加しても何も変わらないようです。

どのような設定で機能しますか？

編集: 関連する可能性のある追加情報 - Scrapy-Heroku を使用しています。

4

2 に答える 2

0

items_dir次のように、プロパティを空の値に設定できます。

[scrapyd]
items_dir=

そのプロパティが設定されている場合、構成されたエクスポートよりも優先されるようです。詳細については、 http://scrapyd.readthedocs.org/en/latest/config.htmlを参照してください。

于 2013-09-20T20:32:33.173 に答える