22

サイトのドメイン名を列挙するために使用される Python プログラムを作成しています。たとえば、「a.google.com」です。

まず、threadingモジュールを使用してこれを行いました。

import string
import time
import socket
import threading
from threading import Thread
from queue import Queue

'''
enumerate a site's domain name like this:
1-9 a-z + .google.com
1.google.com
2.google.com
.
.
1a.google.com
.
.
zz.google.com

'''

start = time.time()
def create_host(char):
    '''
    if char is '1-9a-z'
    create char like'1,2,3,...,zz'
    '''
    for i in char:
        yield i
    for i in create_host(char):
        if len(i)>1:
            return False
        for c in char:
            yield c + i


char = string.digits + string.ascii_lowercase
site = '.google.com'


def getaddr():
    while True:
        url = q.get()
        try:
            res = socket.getaddrinfo(url,80)
            print(url + ":" + res[0][4][0])
        except:
            pass
        q.task_done()

NUM=1000  #thread's num
q=Queue()

for i in range(NUM):
    t = Thread(target=getaddr)
    t.setDaemon(True)
    t.start()

for host in create_host(char):
    q.put(host+site)
q.join()

end = time.time()

print(end-start)

'''
used time:
9.448670148849487
'''

後で、場合によってはコルーチンがスレッドよりも高速であるという本を読みました。だから、私は使用するコードを書き直しましたasyncio：

import asyncio
import string
import time


start = time.time()
def create_host(char):
    for i in char:
        yield i
    for i in create_host(char):
        if len(i)>1:
            return False
        for c in char:
            yield c + i


char = string.digits + string.ascii_lowercase
site = '.google.com'

@asyncio.coroutine
def getaddr(loop, url):
    try:
        res = yield from loop.getaddrinfo(url,80)
        print(url + ':' + res[0][4][0])
    except:
        pass

loop = asyncio.get_event_loop()
coroutines = asyncio.wait([getaddr(loop, i+site) for i in create_host(char)])
loop.run_until_complete(coroutines)

end = time.time()

print(end-start)


'''
time 
120.42313003540039
'''

asyncioのバージョン getaddrinfoが非常に遅いのはなぜですか? どういうわけかコルーチンを誤用していますか?

4

1 に答える 1

33

まず、私の Linux マシンで見られるほど大きなパフォーマンスの違いを再現することはできません。スレッド バージョンでは約 20 ～ 25 秒、バージョンでは 24 ～ 34 秒が一貫して見られasyncioます。

では、なぜasyncio遅いのでしょうか。これにはいくつかの要因があります。まず、asyncioバージョンは順番に印刷する必要がありますが、スレッド化されたバージョンはそうではありません。印刷は I/O であるため、実行中に GIL を解放できます。これは、2 つ以上のスレッドがまったく同時に印刷できる可能性があることを意味しますが、実際には頻繁に発生することはなく、おそらくパフォーマンスに大きな違いはありません。

2 つ目は、さらに重要なことですが、のasyncioバージョンgetaddrinfoは実際socket.getaddrinfoThreadPoolExecutorには:を呼び出しているだけです。

def getaddrinfo(self, host, port, *,
                family=0, type=0, proto=0, flags=0):
    if self._debug:
        return self.run_in_executor(None, self._getaddrinfo_debug,
                                    host, port, family, type, proto, flags)
    else:
        return self.run_in_executor(None, socket.getaddrinfo,
                                    host, port, family, type, proto, flags)

これには、5 つのスレッドしかないデフォルトThreadPoolExecutorを使用しています。

# Argument for default thread pool executor creation.
_MAX_WORKERS = 5

これは、このユースケースに必要な並列処理とはほど遠いものです。バージョンのように動作させるには、 を介してデフォルトのエグゼキューターとして設定することにより、1000 スレッドでthreadingを使用する必要があります。ThreadPoolExecutorloop.set_default_executor

loop = asyncio.get_event_loop()
loop.set_default_executor(ThreadPoolExecutor(1000))
coroutines = asyncio.wait([getaddr(loop, i+site) for i in create_host(char)])
loop.run_until_complete(coroutines)

これにより、 と同等の動作になりますthreadingが、実際には非同期 I/O を使用しているのではなくthreading、別の API を使用しているだけです。したがって、ここでできる最善のことは、threading例と同じパフォーマンスです。

最後に、各例で実際に同等のコードを実行しているわけではありません。threadingバージョンは を共有しているワーカーのプールを使用していますがqueue.Queue、asyncioバージョンは URL リスト内のすべての項目に対してコルーチンを生成しています。asyncioコルーチンのプールを使用するバージョンを作成するasyncio.Queueと、print ステートメントを削除してより大きなデフォルトのエグゼキュータを作成することに加えて、両方のバージョンで基本的に同じパフォーマンスが得られます。新しいasyncioコードは次のとおりです。

import asyncio
import string
import time
from concurrent.futures import ThreadPoolExecutor

start = time.time()
def create_host(char):
    for i in char:
        yield i
    for i in create_host(char):
        if len(i)>1:
            return False
        for c in char:
            yield c + i


char = string.digits + string.ascii_lowercase
site = '.google.com'

@asyncio.coroutine
def getaddr(loop, q):
    while True:
        url = yield from q.get()
        if not url:
            break
        try:
            res = yield from loop.getaddrinfo(url,80)
        except:
            pass

@asyncio.coroutine
def load_q(loop, q):
    for host in create_host(char):
        yield from q.put(host+site)
    for _ in range(NUM):
        yield from q.put(None)

NUM = 1000
q = asyncio.Queue()

loop = asyncio.get_event_loop()
loop.set_default_executor(ThreadPoolExecutor(NUM))
coros = [asyncio.async(getaddr(loop, q)) for i in range(NUM)]
loop.run_until_complete(load_q(loop, q))
loop.run_until_complete(asyncio.wait(coros))

end = time.time()

print(end-start)

そしてそれぞれの出力：

dan@dandesk:~$ python3 threaded_example.py
20.409344911575317
dan@dandesk:~$ python3 asyncio_example.py
20.39924192428589

ただし、ネットワークによって多少の変動があることに注意してください。どちらもこれより数秒遅くなることがあります。

于 2014-10-02T05:05:19.660 に答える