python - URLの大きなリストがある場合、どのURLがアクティブ/非アクティブであるかを確認する方法は何ですか？

Question

私がこのURLのリストを与えていたとしましょう：

website.com/thispage

website.com/thatpage

website.com/thispageagain

website.com/thatpageagain

website.com/morepages

...おそらく1kのURLを超えている可能性があります。

このリストをループして、ページが開いているかどうかを確認するための最良/最も簡単な方法は何ですか？

Answer 1

それぞれに対してHEADリクエストを実行します。

このライブラリを使用します：http：//docs.python-requests.org/en/latest/user/quickstart/#make-a-request

requests.head('http://httpbin.org/get').status_code

Answer 2

これがPythonの例です

import httplib2

h = httplib2.Http()
listUrls = ['http://www.google.com','http://www.xkcd.com','http://somebadurl.com']
count = 0

for each in listUrls:
    try:
        response, content = h.request(listUrls[count])
        if response.status==200:
            print "UP"
    except httplib2.ServerNotFoundError:
        print "DOWN"
    count = count + 1

Answer 3

PythonでHEADリクエストを実行する方法を示すSOの回答があります。

Python2でHEADHTTPリクエストをどのように送信しますか？

Answer 4

スレッドのプールを開き、それぞれのURLを開き、200または404を待ちます。すすぎ、繰り返します。