1

複数のフィードを同時に解析するためにguvandを使用しています。feedparser以下は私のコードです：

guv.monkey_patch(time=True, socket=True)

def parse_feed(_feed):  
    return feedparser.parse(_feed)

def main():
    urls = ["http://feeds.bbci.co.uk/news/rss.xml"]
    pool = guv.GreenPool()
    results = pool.starmap(parse_feed, zip(urls))
    for resp in results:
        print(str(resp))

ただし、次の出力が得られます。

{'bozo_exception': TypeError('a float is required',), 'bozo': 1, 'feed': {}, 'entries': []}

を使用しても同様の問題Eventletがありますが、ネイティブの Python 3threadingライブラリでは発生しません。

4

1 に答える 1

0

I'm not able to install the guv module locally, so I can't test your code verbatim, but if I use eventlet.greenpool.GreenPool instead everything works fine:

import feedparser
import eventlet.greenpool

def parse_feed(_feed):  
    print 'PARSE:', _feed
    return feedparser.parse(_feed)

def main():
    urls = ["http://feeds.bbci.co.uk/news/rss.xml"]
    pool = eventlet.greenpool.GreenPool()
    results = pool.starmap(parse_feed, zip(urls))
    for resp in results:
        print resp

main()

I also see correct behavior with itertools.starmap(). Is it possible you're seeing some sort of transient error?

于 2015-05-06T20:29:16.273 に答える