わかりました、いくつかの異なるライブラリでこれを解決しようとしました。私は何千ものサイトを見て、ページ上の特定のアイテムを追い出すスクリプトに取り組んでいます. データを失うことなくスクリプトが続行されるように、接続をリセットできる必要があります。エラーをキャッチして待ってみましたが、最終的にスクリプトが完全にエラーになるため、修正されていないようです。ステータス チェック モジュールの以下のコード スニペットでエラーが発生します。
def status(url): #checks the response code
try:
req=urllib2.urlopen(url)
response=req.getcode()
return response
except urllib2.HTTPError, e:
return e.code
print e.code
except urllib2.URLError, e:
print e.args
return e.args
しかし、これを試す前に、urrlib2の代わりに以下を使用しました
parsedurl = urlparse(url)
conn = httplib.HTTPConnection(parsedurl.netloc)
conn.request('HEAD',parsedurl.path)
response = conn.getresponse()
return response.status