4

geventを使用して同時ダウンロードを実行しています。この
例 に基づくと、これは次のコードです。

import gevent
from gevent import monkey

urls = ['https://www.djangoproject.com/','http://www.nytimes.com/','http://www.microsoft.com']
monkey.patch_all()

import urllib2
from datetime import datetime

def print_head(url):
    print ('Starting %s' % url)
    data = urllib2.urlopen(url).read()   
    print ('%s: %s bytes: %r' % (url, len(data), data[:50]))

startTime = datetime.now()
jobs = [gevent.spawn(print_head, url) for url in urls]
gevent.joinall(jobs)
totalTime = datetime.now() - startTime
print "Total time: %s" % totalTime

私の問題は、上記のコードがシリアルバージョンよりもはるかに時間がかかり、ほとんどの場合タイムアウトになることです。これがはるかに高速なシリアルバージョンです。

import urllib2
from datetime import datetime

urls = ['https://www.djangoproject.com/','http://www.nytimes.com/','http://www.microsoft.com']

def print_head(url):
    print ('Starting %s' % url)
    data = urllib2.urlopen(url).read()
    print ('%s: %s bytes: %r' % (url, len(data), data[:50]))

startTime = datetime.now()    
for url in urls:
    try:
        print_head(url)
    except:
        print 'ops EXCEPTION :('

totalTime = datetime.now() - startTime
print "Total time: %s" % totalTime
4

1 に答える 1

1


問題は古いgeventパッケージでした。@reclosedevが指摘したよう
に、古いものをアンインストールして、ここから新しいものをインストールしました。
現在は正常に動作しています。

于 2012-02-05T13:37:40.250 に答える