タスクは次のとおりです。
1)send an http get to url based on a parameter
2)Modify the response based on the same parameter
3)send an http post to url based on the same parameter
私は現在リクエストライブラリを介してこれを行っていますが、これを1つずつ行うには多くの時間がかかり、最大20,000になる可能性があります.
試してみmultiprocessingましたが、何らかの理由で 5000-10000 の get と post を送信した後にハングします。
grequest について読みましたが、そこに書か
Order of these responses does not map to the order of the requests you send out.れています。送信した get に基づいて各応答を変更する必要があるため、注文が必要です。
ここで最良の選択肢は何ですか?私も読んだことがありますthreading,tornadoが、最初のアプローチを台無しにしてしまったのでmultiprocessing、もう一度やり直す前に確認したいと思います