2

私は 50 の URL のセットを持っています...そして各 URL から、urllib2 を使用していくつかのデータを取得しています。私が従う手順 (各 URL の Cookie の設定を含む) は次のとおりです。

urls = ['https://someurl', 'https://someurl', ...]
vals = []

for url in urls:
   req2 = urllib2.Request(url)
   req2.add_header('cookie', cookie)
   response = urllib2.urlopen(req2)
   data = response.read()
   vals.append(json.loads(data))

したがって、基本的に、これらすべての URL からデータを取得し、それを vals リストにダンプしています。50 個の URL に対するこの全体の手順には、約 15.5 ~ 20 秒かかります。同じ操作をより高速な方法で実行できる他のPythonライブラリがあるかどうかを知る必要があります..または、urllib2を使用してこの問題にアプローチする他の高速な方法を提案できる場合は、問題ありません同じように。ありがとう。

4

3 に答える 3