2 つの異なる実装でかなり異なる結果が得られます。
これが実装1です
request_semaphore = asyncio.Semaphore(5)
async def _send_async_request(client: AsyncClient, method, auth, url, body):
async with request_semaphore:
try:
async for attempt in AsyncRetrying(stop=stop_after_attempt(3), wait=wait_fixed(1)):
with attempt:
response = await client.request(method=method, url=url, auth=auth, json=body)
response.raise_for_status()
return response
except RetryError as e:
pass
そして、ここに実装 2 があります。
request_semaphore = asyncio.Semaphore(5)
@retry(stop=stop_after_attempt(3), wait=wait_fixed(1))
async def _send_single_async_request(self, client: AsyncClient, method, auth, url, body):
async with request_semaphore:
response = await client.request(method=method, url=url, auth=auth, json=body)
response.raise_for_status()
return response
async def _send_async_request(self, client: AsyncClient, method, auth, url, body):
try:
await self._send_single_async_request(client, method, auth, request)
except RetryError as e:
pass
安定した REST API に対してテストしています。ベンチマークは次のとおりです。
- 100 件の成功した POST リクエスト:
- 実装 1: 0:59 分
- 実装 2: 0:57 分
- 100 件の失敗した POST 要求:
- 実装 1: 3:26 分
- 実装 2: 2:09 分
これらの結果は一貫しています。最初の実装が 2 番目の実装よりも遅い理由を理解できる人はいますか?
編集:参考までに、上記の関数を呼び出す方法は次のとおりです(上記の関数は実際にURLと本文を含むリクエストタプルを受け取り、明確にするために編集しました)
async def _prepare_async_requests(method, auth, requests):
async with AsyncClient() as client:
task_list = [self._send_async_request(client, method, auth, request) for request in requests]
return [await task for task in asyncio.as_completed(task_list)]
def send_async_requests(auth, method, requests):
loop = asyncio.get_event_loop()
responses = loop.run_until_complete(self._prepare_async_requests(method, auth, requests))
return responses