python - セロリを使用して異なるワーカープールを構成するにはどうすればよいですか?

Question

(一般に) 次の 3 つのクラスのワーカーを使用して、キュー実行サービスをデプロイする必要があります。

1. 時間がかかり、連続して処理できる定期的で優先度の低いジョブ クラス。これらのジョブは、システム内で最大 0..2 ワーカーのみを使用する必要があります。

2. 短期間から中程度の時間がかかる定期的で締め切りに敏感なジョブ クラス (たとえば、5 分で終了)

3. #1 より優先度が高いが、#2 とインターリーブできるアドホック ジョブ クラス。このタイプのジョブが入ったときに非アクティブなクラス #2 のワーカーは、#2 のワーカーのプールを枯渇させることなく、それを処理する必要があります。

3 つのジョブ クラスはすべて同じタスクです。これらの唯一の違いは、要求方法です。それらは同じ入力を受け取り、同じ出力を生成しますが、それぞれに異なるパフォーマンス保証があります。

セロリを使用してこれを実装するにはどうすればよいですか?

Answer 1

Celery Routingを使用して、目標を達成できます。3つの異なるルーティングキーを設定し、設定した特定のルーティングキーのみを一覧表示する複数のセロリワーカー（カスタム構成を使用）を用意します。