cookielib と urllib2 に依存して Web ページをスキャンする URL スキャナーを作成しました。接続数が 100 に達するたびに、プログラムがエラーなしで停止することに気付きました。エラーの原因は、接続数が 100 に達したためだと思います。さまざまなドメインで何度も試しましたが、最終的にプログラムはリンクの調査を停止し、100 の発信接続に達すると停止します。このエラーをどのように回避しますか?
私のセットアップコードは次のとおりです。
domain = "http://dotwhat.net"
cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
html = opener.open(domain).read()
soup = BeautifulSoup(html)
ループ内のコードの 4 行目で新しい接続を開きます。