私が管理する大量の記事の品質を保証するために、Python 3.4 を使用してリンク切れチェッカーを構築しています。最初は GET リクエストを使用してリンクが実行可能かどうかを確認していましたが、確認している URL に ping を実行するときはできる限り適切にしようとしていました。一度ならず、頭のリクエストだけをしようとしました。
ただし、これを単純に停止させるサイトを見つけました。エラーをスローすることも、開くこともありません。
https://www.icann.org/resources/pages/policy-2012-03-07-en
リンク自体は完全に機能します。理想的には、同様のリンクを処理する方法を見つけたいと思います。Python 3.4 のこのコードは、問題を再現します。
import urllib
import urllib.request
URL = 'https://www.icann.org/resources/pages/policy-2012-03-07-en'
req=urllib.request.Request(URL, None, {'User-Agent': 'Mozilla/5.0 (X11; Linux i686; G518Rco3Yp0uLV40Lcc9hAzC1BOROTJADjicLjOmlr4=) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.157 Safari/537.36','Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8','Accept-Charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.3','Accept-Encoding': 'gzip, deflate, sdch','Accept-Language': 'en-US,en;q=0.8','Connection': 'keep-alive'}, method='HEAD')>>> from http.cookiejar import CookieJar
cj = CookieJar()
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))
response = opener.open(req)
エラーがスローされないため、チェッカー全体を停止させたリンクに絞り込む以外に、これをトラブルシューティングする方法が本当にわかりません。このリンクが有効かどうかを確認するにはどうすればよいですか?