python - Urllib と同時実行性 - Python

Question

WSGIを介して python スクリプトを提供しています。このスクリプトはurllibを介して Web リソースにアクセスし、リソースを計算してから値を返します。

問題は、urllib が正確な URL への多くの同時リクエストを処理していないように見えることです。

リクエストが 30 の同時リクエストに達するとすぐに、リクエストの速度が低下します。:(

---

助けていただければ幸いです。:D

Answer 1

ええ、urllib多くの並行性はありません。毎回urlopen、接続を設定し、HTTP 要求を送信し、応答からステータス コードとヘッダーを取得する必要があります (場合によっては、そこからリダイレクトを処理します)。そのため、自分のペースでレスポンスの本文を読むことができますが、リクエストの待機時間の大部分はすでに発生しています。

より多くの並行性が必要な場合は、何らかの非同期ネットワーク IO ツール (たとえば、 Eventletのフロント ページに適切な例があるようです) を選択するか、それぞれurlopenを独自のスレッドで起動する必要があります。