ここでは、他の Web API ソースからデータを収集しようとしています。しかし、4〜5個のタスクfetch_pageを並行して実行しています。
「リクエストのサービス中にワーカーがクラッシュしました」というメッセージが表示されます
この問題から抜け出す方法を教えてください。
また、aiohttp.post リクエストからの応答で大量のデータを受信しているため、write.write メソッドがクライアント側にデータを書き込めないことがあります。
import asyncio
import aiohttp
import json
import re
def fetch_page(writer, url, data):
response = yield from aiohttp.post(url,data=data)
resp = yield from response.read_and_close() <== here some time i am getting "Worker crashed while servicing request"
writer.write(resp)
yield # Yield to the event loop
yield from writer.drain()
return