python - Scrapy:リクエストリファラーを印刷する方法

Question

パース関数でレスポンスオブジェクトからリクエストリファラーを取得することは可能ですか?

10倍

Answer 1

HTTPフィールドは、応答ヘッダーではなく、Referer要求ヘッダーで HTTP クライアントによって設定されます。このヘッダーは、クライアントが現在のページのどこから来たかをサーバーに伝えるためです。

Referer応答で http ヘッダーを受け取るのはかなり奇妙です。

しかし、 について話すと、 が生成されたオブジェクトへscrapyの参照がresponse のフィールドにあるため、次の呼び出しの結果は次のようになります。RequestResponserequest

response.request.headers.get('Referer', None)

Refererリクエスト時にヘッダーが設定されていれば、ヘッダーを含めることができます。