問題タブ [django-celery]

本番環境でdjango-celery 2.4.2を使用してdjango 1.3を実行しています。

django settings.py ファイルで django ロギングを有効にしたため、セロリ デーモン (celeryd) が実行されなくなりました。ロギング機能を削除すると、問題が修正されます。

settings.py のログ コードは次のようになります。

編集: 問題を修正する LOGGING 辞書の前に次のコードを追加しました。誰かがもっときれいな解決策を持っているなら、私は聞きたいです。

Celery 2.4.6 と django-celery 2.4.2 を使用しています。

この質問の解決策に従って Amazon SQS を使用するように Celery を設定すると: Celery with Amazon SQS

Django admin の celerycam テーブルに何も表示されません。RabbitMQ に戻すと、タスクが再び表示されるようになります。

SQS には、「celeryev-92e068c4-9390-4c97-bc1d-13fd6e309e19」のような名前のキューがたくさんあります (現在は 40 以上)。 ）、しかしデータベースには何も表示されず、celerycam ログにエラーは表示されません。

問題が何であるか、またはこれをさらにデバッグする方法についての提案は大歓迎です。

セロリを本番環境でジャンゴコンブと一緒に使用しても安全ですか? Heroku でこの設定を行っているため、アプリのデータベース (postgres) がメッセージ トランスポートです。タスクが完了したなどの断続的な問題が発生しますが、ステータスが保留中のままです。これが競合の問題によるものかどうかは疑問です。django-kombu を本番環境で使用しないことを推奨する人もいます: https://gondor.io/support/celery/

Celery をタスク キューとして使用する Django アプリで奇妙な問題が発生しています。

1. 私はタスクを開始します。
2. 実行中、タスクは update_state(...) を呼び出して、進行状況を示すようにタスクの状態を設定します。
3. タスクが完了します。これをログで確認します。

ただし、このビュー (http://myapp/tasks/37d9a3ac-5bd2-4791-9729-2234ff3be762/status) は、タスクが完了してからかなりの時間、STALE の結果を返します。Redis とデータベースの両方をバックエンドとして使用して、これを再現できます。最終的にタスクの状態は正しく返されますが、ユーザーが何かを実行できるようになる前にタスクが完了したかどうかを UI がポーリングするため、アプリが実際に機能しなくなります。

編集: 私のアプリは Heroku にデプロイされています。Cedar は応答キャッシュを行うのだろうか??

何が起こっているのか分かりますか？

私はdjango-celery（バックエンドとしてrabbitmqを使用）を介していくつかのタスクを実行していますが、タスクには時間がかかり、CPUを集中的に使用します。

2 つのワーカー Ec2 インスタンスを取得しました (1 つは小規模で、もう 1 つは高 CPU 中)。

スモール インスタンスを 1 つの同時タスクを実行するように設定し、ミディアム インスタンスを 4 つ実行するように設定しました。これは私にとってはうまく機能します。しかし、ときどき、セロリ モニターで、小さなインスタンスがタスクで動作しており、さらに 2 つまたは 3 つのタスクが "RECEIVED" 状態 (小さなインスタンスに割り当てられている) であるのに対し、中型のインスタンスは何もしていないことがわかります。理想的には、中規模のインスタンスが小規模インスタンスよりも優先されるようにする必要がありますが、この場合、小規模インスタンスが同時実行可能である場合、タスクは中規模インスタンスに移動する必要があります。小さなインスタンスは、噛むことができる以上のものを噛んでいるようです.. 現時点では開始できないタスクをそれ自体に割り当てる場合と同様です。

ワーカーがその時点で開始できるタスクのみを受け入れるようにする方法はありますか?

スクリーンショット: http://dl.dropbox.com/u/361747/task-state.png . domU で始まるワーカーは small で、ip で始まるワーカーは medium です。

私はdjango-celeryを使用しており、次のようなタスクがあります:

django シェルを使用してタスクを実行します。

セロリログから、タスクが実行されていることがわかります：

ただし、地獄からタスクの状態を確認すると、常に保留中になりました。

たとえタスクがうまく実行されたとしても。

なぜこれが起こるのですか？

タスクを実行し、djangoによって配布されるメッセージを返すために複数のマシンを使用できますか？celery / rabbitmqを調べましたが、リモートコンピューターでセロリワーカーをセットアップできるかどうかわかりません。誰かが私をここに案内してもらえますか？これが不可能または非常に難しい場合、問題の代替解決策はありますか？

私はHerokuでDjangoを使用しており、私のサイトでは毎月Celeryを介してバッチメールを送信しています。私はこの労働者を月に一度しか使っていないので、いつもお金を払いたくありません。 メールを送信する前後に、を使用してワーカーを停止し、手動でheroku scale workers=0スケールアップすることができます。heroku scale workers=1

ただし、他の技術者以外のスタッフもdjangoからメールを送信するため、これらのコマンドを実行することはできません。Heroku WebプロセスでPythonからコマンドを実行して、ワーカーを停止できますか？メールを送信する前に任意のコマンドを実行できました。

こんにちは、少し混乱してcelerydいceleryd_multiますが、この 2 つの違いは何ですか? つまり、これまでは を使用してきpython manage.py celerydましたが、celeryd_multi今日見つけたのですが、説明が見つかりませんでした。ドキュメントによると-c、キューを処理している子プロセスの数を示しています。その場合、celeryd_multi's使用法は何ですか?

RabbitMQ と Django で実行されている Celery を使用しようとしています。これまでのところ、python 2.7 、Django 1.3、セロリ 2.4.6、および django-celery 2.4.2 とともに、RabbitMQ 2.7 がサーバーにインストールされています。

ここの簡単な指示に従いましたhttp://django-celery.readthedocs.org/en/latest/introduction.html

そして、実行してセロリを起動しようとしました

しかし、それは私にこのエラーを与えました

私はいくつかの調査を行い、ここでバグを見つけましたhttp://bugs.python.org/issue3770、おそらく修正されましたが、python 2.7ではないと思います。

また、私のOSはCentOSリリース4.9(Final)です。そして、ソースからpythonをビルドしました。

私はpythonシェルを起動して実行しました：

エラーはありませんでしたが、実行しました：

エラーが発生しました（上記）。

どんな助けでも大歓迎です。