python - アマゾンS3にスクレイプ画像を保存する方法は？

Question

私はScrapyを約1週間使用していて、画像をAmazon S3に保存したいと思っています。彼らは、Amazon S3への画像のアップロードをサポートしていると述べましたが、文書化されていません。では、Amazon S3をScrapyで使用する方法を知っている人はいますか？

これがメディアパイプラインのScrapyドキュメントです。

Answer 1

3 つの設定が必要です。

AWS_ACCESS_KEY_ID = "xxxxxx"
AWS_SECRET_ACCESS_KEY = "xxxxxx"
IMAGES_STORE = "s3://bucketname/base-key-dir-if-any/"

それだけです。画像は、 http://readthedocs.org/docs/scrapy/en/latest/topics/images.html#file-system-storageで説明されている構造と同じディレクトリを使用して保存されます。

s3://bucketname/base-key-dir-if-any/full/3afec3b4765f8f0a07b78f98c07b83f013567a0a.jpg

Answer 2

@ 2083 私はあなたと同じ問題に遭遇しました。エラーはなく、boto は既にインストールされています。ここで答えを見つけることができます: https://doc.scrapy.org/en/latest/topics/feed-exports.html#topics-feed-storage-s3 「Scrapy は Python 2 でのみ boto をサポートしています」私のようなPython 3。次に、ボトコアをインストールしました。そしてそれは働いた！