scrapy - スクレイピー シェル リクエストのヘッダーを設定する

Question

scrapy shell -s USER_AGENT='custom user agent' 'http://www.example.com'を変更できることは知っていますがUSER_AGENT、リクエストヘッダーを追加するにはどうすればよいですか?

Answer 1

cli にヘッダーを直接追加する現在の方法はありませんが、次のようなことができます。

$ scrapy shell
...
...
>>> from scrapy import Request
>>> req = Request('yoururl.com', headers={"header1":"value1"})
>>> fetch(req)

これにより、現在のシェル情報がその新しいリクエストで更新されます。