動的なバックエンドを活用して、処理に 10 分強かかる大規模なプッシュ タスクキュー スタイルのジョブを実行することを検討しています。動的なバックエンドをオンデマンドで起動し、タスクキューのボリュームに基づいて「自動スケーリング」する機能は、非常に魅力的です。
これらのキューを「ターゲット」を「なし」に設定すると、これらのキューはフロントエンド インスタンスを使用して処理されます。スレッドセーフで Python27 を使用しているため、これにより、タスクをより少ないインスタンスで複数のスレッドで処理できます。私のアプリは多くの URLFetch と time.sleep を実行するため、多くの CPU パワーを消費しているように感じます。
理想的には、同じバックエンドの 20 のバックエンド インスタンスをスピンアップしたいのですが、できるだけ多くの「リクエスト」を同時に実行したいと考えています。
問題は、バックエンドがこのように動作するかどうかです。