問題タブ [python-rq]

python-rq ワーカー キューに入る長いタスクがあります。

私はflask-cache結果を試して保存するために使用しています。これは、多くても週に1回だけ実行する必要がある計算であり、月に1回でも十分です。

私が抱えている問題は、これを実行すると、実際の解決策ではなく、失敗した応答がキャッシュされることです。

これを行う他の方法はありますか？または、これにどのようにアプローチすべきかについての提案はありますか?

私は現在のルートを持っています

これをローカルで実行すると、タイムアウトしないため正常に動作します。関数が実行された後、結果がキャッシュに保存され、その後のリロード時に即座にロードされます。しかし、ルートを実行するときにサーバーに配置すると、タイムアウトになります。

タイムアウト後にタスクが完了しても、関数をリロードすると、キャッシュから呼び出す代わりにタスクが再実行されます。

これを行うべき別の方法はありますか？

現在の状態を照会したり、Django を使用してパラメーターを変更したりできるバックグラウンド プロセス (redis rq で開始) で計算シミュレーションを実行したいと考えています。

簡単にするために、次のコードを長時間実行したいとしましょう (Python ワーカーを介して設定します)。

次に、URL にアクセスすると、現在の の値がわかりますvalue。URL に POST して値を変更することもできます。aつまりa=None、シミュレーションを停止a=-10したり、動作を変更したりできます。

これを行う最善の方法は何ですか？

rq ジョブのタイムアウトを変更しようとしていますが、何も機能していないようです。私は次のような効果があります：

しかし、私はまだ得ています

私は必死になって、rq モジュール queue.py に入り、タイムアウトのデフォルト引数を 2700 と DEFAULT_TIMEOUT (enqueue_call メソッドを含む Queue クラスで定義された変数) に変更しようとさえしました。私は何かを見逃していますか、それとも誰かが知っている問題がありますか? ありがとう！

現在、rq のログは次のようなものです:-

そのため、引数にはawsシークレットとアクセスキーが含まれているため、ジョブの引数もログに記録します。これはセキュリティ上の問題です。これをpython rqで修正する方法はありますか? 引数をログに記録しないように、またはその他の方法で

特定の操作の後に ZMI から外部メソッド (バックグラウンド タスク用) を呼び出して、Zope で Python-RQ を使用しようとしています。外部メソッドによって呼び出されるファイルは Extensions にあります。Redis への接続を初期化し、バックグラウンド タスクを実行するモジュールをインポートします。問題は、これをインポートするファイルをどこに配置する必要があるかです。Products ディレクトリ内に配置すると、Python-RQ が認識しないようです。投げno module named Products.xyzます。以下はコードスニペットです

rq_worker 関数は、外部メソッドによって呼び出されます。

以下はエラーです

私は python-rq と redis を使用してドメイン名を渡し、ドメインからリンクを取得しています。

コードを実行して例外がキャッチされると、そのドメインを印刷して無視する代わりに、失敗したキューにプッシュされます。しかし、コンソールでは rq は出力しませんpushing to failed queue。

リンクはデータベースで更新されていますが、ドメインは失敗したキューにプッシュされています。また、失敗したキューの数がデフォルトのキュー (渡されたドメインの総数) を超えています。

なぜこうなった？助けてください

raven.contrib.flaskのSentry(app, dns=...)オブジェクトを使用してセントリーに登録されているFlaskサーバーがあります。また、非同期バックグラウンド プロセスで作業するための python-rq ワーカーもいくつかあります。次のように start_worker スクリプトにセントリーを登録できると記載されているように見えるこのドキュメントを見つけました。

redis_client は、 を使用した redis への接続StrictRedis(host=...)です。これらのワーカーは正常に動作しますが、作業中のジョブに強制的に例外を発生させると、Sentry でエラーは表示されませんが、ワーカーのエラー ログに発生した例外が表示されます。

私の Sentry プロジェクトは、現在すべてのドメインを許可するように設定されています。これらのエラーが Sentry に正しく表示されるようにするために何か特別なことをしなければなりませんか?