私は、discord ボットがスクレイピングした Web サイトから特定の数のサブドメインを取得し、200 OK で応答するものを取得するようにリクエストを作成して、http.client でそれらをフィルタリングしようとしましたが、これは google.com で機能しましたが、多くの場合他の多くの問題を引き起こす可能性があり、これを行うためのより効率的で高速な方法があるかどうか疑問に思っていましたか?
global stripped_results
stripped_results = []
for tag in results:
connection = http.client.HTTPSConnection(tag)
connection.request("GET", "/")
response = connection.getresponse()
if (response.status, response.reason) == (200, "OK"):
stripped_results.append(tag)
else:
pass
connection.close()