私は何百万ものURLを持つファイルを持っています:データファイルは次のようなものです:
http://wonderland.cjfallon.ie/
http://www.youtube.com/
http://www.starfall.com/
http://education.scholastic.co.uk/
http://www.scoilnet.ie/
http://www.nessy.com/
http://www.senteacher.org/
http://scoop.it/
http://www.moviemaker.com/
http://learni.st/
http://www.twitter.com/
http://www.facebook.com/
http://www.gutenberg.org/
http://www.gutenberg.org/cache/epub/42361/pg42361.txt
それらをクロールしたいので、バウンドはネットワークIOなので、複数のスレッドまたはgeventを使用してそれに取り組みたいです。
私の複数のスレッドコードは、 https://gist.github.com/young001/5449751でうまく機能し ます
しかし、gevent を使用する場合、コードは次のとおりです : https://gist.github.com/young001/baa3eebbf7342c5ac077
status is 200
status is 200
Internal error in evhttp
the url is down http://web2.socialcomputingmagazine.com/the_social_graph_issues_and_strategies_in_2008.htm
the reason
status is 200
status is 200
status is 200
status is 200
status is 200
status is 200
status is 301
status is 200
status is 301
status is 200
status is 200
Internal error in evhttp
そしてそれは行き詰まりました。よくわからんけどなんでこんな出てくるの？
助けはありますか？
すべてうまくいくはずなのに、そうじゃなくて気が狂ってしまう。