問題タブ [djcelery]

私はdjceleryを使用しています。1 つのタスクを作成しました。

私はそれをview.pyで呼びました

タスクが完了または失敗したことをどのように検出できますか。成功と失敗で特定のアクションを実行したい。

ライブサーバーで長時間タスクを実行しています。タスクには、facebook からデータを取得し、reportlab PDF パッケージを使用して PDF を生成することが含まれます。

これらの場合、並行性レベル 5 のワーカーが 3 つあるため、30 個の PDF タスクを並行して実行できます。

ただし、一度に 10 個のタスクが実行されている場合、長時間実行されているタスクは、他のタスクを中断して、タスクのハードタイム制限 (12 時間) を期限切れにします。

しかし、私のサーバーでは、1 つの PDF タスクに最大 3 時間または最悪の場合 4 時間かかります。しかし、同時実行レベル 5 ですべてのワーカーを実行すると、一部のタスクが成功し、一部のタスクの時間制限 (12 時間) を超えています。しかし、私の目標は、これらの 10 のタスクすべてを 4 ～ 5 時間以内に完了する必要があります。

長時間実行されるタスクを処理するための最善の方法はありますか?

また、django-セロリパッケージを使用しています。
私のセロリ会議：

ワーカーの実行: python manage.py celeryd_multi restart n1 n2 n3 -l info -f celery.log -c 10 --purge -Q:n1,n2,n3 backend

5 秒間隔で実行される単一の celerybeat スケジュール タスクを持つセロリ ワーカーを作成しました。セロリワーカーを停止せずに別のビートタスクを動的に追加するにはどうすればよいですか?

例

上記の構成で、ビート モードでセロリ ワーカーを正常に実行できます。

ここで、以下のビート スケジュールを動的に追加する必要があります。

ありがとう

Django とセロリを使用していくつかのタスクを実行しています。同時実行数 1 のワーカーが 6 人あり、さまざまなタスクがさまざまなワーカーに送信されます。魔女の 1 人がタイマーでエラーを発生させます: OperationalError(2006, 'MySQL server has gone away')。何かが起こるまでシステムは正常に動作し、ワーカーは手動で再起動するまでタスクの実行を停止します。

トレースバック:

CSVファイルを入力として受け取り、ファイルに対して分析を実行する必要があるDjangoアプリをローカルで作成しています。Celery、RabbitMQ、および Web サーバーをローカルで実行しています。ファイルをインポートすると、Celery サーバーに次のエラーが表示されます。

これをさらにトラブルシューティングする方法がわかりません。それが役立つ場合は、program_manager/tasks.py から関連するコードをコピーしました。

Djcelery は廃止されたと見なされるようになりましたが、飛行機のセロリと django だけを使用して、アプリ管理者ユーザーが定期的なタスクをスケジュールできるようにする方法がわかりません。CELERYBEAT_SCHEDULE を使用して django 設定ファイルにハードコードできますが、それだけですか?

データベースのバックエンドを使用してから、独自の PeriodicTask モデルを作成し、基本的に djcelery が既に行っていることを繰り返す必要があるようです。

djcelery を使用して定期的なタスクがあります。このタスクはデータベースを調べており、必要に応じて同じ変更を行います。ご存知のように、「python manage.py test」はテスト データベースを作成するので、このテスト データベースでこの定期的なタスクを実行するにはどうすればよいでしょうか。

私は最初に実行しようとしました: python manage.py test

次に、次を実行しようとしたとき

python manage.py セロリ ワーカー -l 情報 &

python manage.py セロリ ビート -l 情報 &

テストが終了しました