どうすればこれを設定できますか? handle_httpstatus_list = [301, 302, 303] と書きましたが、scrapy は新しいリンクをたどらず、ページの空のファイルを保存し始めたところです。
PS 英語は私の母国語ではありません。すみません。
Scrapy はデフォルトでリダイレクトを処理します。つまり、RedirectMiddlewareDOWNLOADER_MIDDLEWARES
が設定でアクティブ化され、REDIRECT_ENABLED
設定が に設定されTrue
ます。
dont_redirect = true
また、リクエストに次のように記載する必要があります。
meta = {'dont_redirect': True, "handle_httpstatus_list" : [301, 302, 303]}
よろしく