Python で高速クローラーを作成しようとしていますが、スレッドでは実行したくありません。Scrapy はシングル スレッドであり、応答が返される前に要求を行うことができるという記事を読みました。urllib または urllib2 で同じことを行い、応答が返される前に新しいリクエストを作成するサンプル コードがあるかどうか疑問に思います。
前もって感謝します。
1 に答える
1
Scrapy は問題ありませんが、代替手段を探している場合は、Eventletをご覧ください。greenthreads（別名コルーチン）に基づいています。簡単な Web クローラーの例もあります - http://eventlet.net/#web-crawler-example
于 2012-05-05T21:03:33.497 に答える