このクローラーをベース クローラーとして使用してい ます https://github.com/alecxe/broken-links-checker/blob/master/broken_links_spider.py
404 エラー ドメインをキャッチして保存するために作成されます。少し変更して、エラー 12002 である「そのようなホストはありません」エラーを探すようにしました。
ただし、このコードでは、Scrapy は応答を受信しておらず (応答を返すホストがないため)、Scrapy がそのようなドメインに遭遇すると返されます。
見つかりません: [Errno 11001] getaddrinfo に失敗しました。
この見つからないエラーをキャッチしてドメインを保存するにはどうすればよいですか?