0

ここでは、他の Web API ソースからデータを収集しようとしています。しかし、4〜5個のタスクfetch_pageを並行して実行しています。

「リクエストのサービス中にワーカーがクラッシュしました」というメッセージが表示されます

この問題から抜け出す方法を教えてください。

また、aiohttp.post リクエストからの応答で大量のデータを受信して​​いるため、write.write メソッドがクライアント側にデータを書き込めないことがあります。

import asyncio
import aiohttp
import json
import re


def fetch_page(writer, url, data):
    response = yield from aiohttp.post(url,data=data)
    resp = yield from response.read_and_close() <== here some time i am getting "Worker crashed while servicing request" 
    writer.write(resp)  
    yield  # Yield to the event loop
    yield from writer.drain()
    return  
4

0 に答える 0