python - Scrapy アイテムにリダイレクトを保存する

Question

items.py次のように、scrapy ファイルに応答フィールドを含めたいと思います。

class ScrapyItem(Item):
    title = Field()
    h1 = Field()
    response = Field()

ファイルで使用できると思っていましたが、response.status毎回ステータスコードが表示されます。ページがリダイレクトされた場合や見つからない場合は、、、またはを入力してください。spider.py200301302404

Scrapy でこれを行う方法はありますか?

Answer 1

Scrapy は、あなたのためにある種のものを飲み込みます (それは設計上の決定です)。次の 2 つのことを行う必要があります。

1. スパイダーで、エラー応答を処理するために次のように記述します

   handle_httpstatus_list = range( 400, 427 ) + range( 500, 511 )

2. 3xx ステータス ヘッダーを処理するRedirectMiddlewareを無効にします。

response.statusこれで、フィールドからステータスを読み取ることができます。