Pythonスレッドライブラリを使用して記述されたサービスをローカルサーバーで実行しています。これを一種のWebクローラーと考えてください。50スレッドを使用します。アマゾンウェブサービスクラウドにデプロイしてスケールアップしたいので、より多くのスレッドを使用します。
簡単に言うと、URLとページコンテンツの2つのキューがあります。スレッドはURLを選択し、Webページのコンテンツをフェッチして配置しますQinput
Qoutput
Qinput
Qoutput
質問:スレッドの数をたとえば500、5,000、または50,000に増やすだけで十分ですか?AWS + Pythonがそれを処理しますか?サービスがシームレスに実行されることを期待する必要がありますか、それともAWSにマルチスレッドサービスを移植するときに知っておくべき「標準的な」設計上の落とし穴がいくつかありますか?
スレッドの主なタスクはページをクロール/スクレイピングしながらインタープリターの外部に呼び出すことであるため、ここでは問題にはならないはずですが、グローバルインタープリターロックを認識しています。