Queueを使用してアイテムのリストを段階的に処理できるようにするための確実な実装を探しています。
アイデアは、20以上のデータベース集約型タスクのリストを調べて結果を返す、設定された数のワーカーを使用したいということです。Pythonが最初の5つの項目から開始し、1つのタスクが完了するとすぐに、キュー内の次のタスクから開始するようにします。
これは私が現在スレッドなしでそれをしている方法です。
for key, v in self.sources.iteritems():
# Do Stuff
同様のアプローチをとりたいのですが、リストを5つのサブグループに分割する必要はないかもしれません。リスト内の次のアイテムを自動的に取得するようにします。目標は、1つのデータベースがプロセスの速度を低下させている場合でも、アプリケーション全体に悪影響を及ぼさないようにすることです。