問題タブ [job-queue]

私は現在、サービスまたはコンソールアプリケーションがJobQueueテーブルからJobを読み取るモジュールを設計しています。次の情報を含むJobQueueテーブルを設計しました。

JobId：int Primarykey

JobType：int notnull

状態：varchar notnull

CreatedOn：datetime notnull

LastModifiedOn：日時null許容

CompletedOn：日時null許容

JobType属性は主に、特定のタイプのジョブではなく、このテーブルをより一般的に保つために導入されています。私の質問は、実行するジョブの詳細をこのテーブル自体に保持するのか、それともそれを参照するジョブIDを持つ他のテーブルに保持するのかということです。これは、他のテーブルで利用可能なデータがあるためです。したがって、ジョブの実行中に、間接的にデータをフェッチできます。情報の重複を避けるために、私はこのようなことを考えました。これは良いアプローチですか？これについてあなたのアドバイスが必要です

私はsleekxmppというpythonライブラリを使用して、xmppプロトコルを実装しています。
実際、プロセス全体は、クライアントが http リクエストを送信してから、sleekxmpp ライブラリを介して他のクライアントに xmpp メッセージを送信する必要があります。
これらの http リクエストをキューに集める必要があり、sleekxmpp はキューをリッスンして長生きし、xmpp メッセージを送信する必要があります。
それを行うのに役立つPythonのライブラリはありますか？

たとえば、私はデプロイメントアプリに取り組んでいます。SVNから4つのブランチをデプロイするとします。これにはsvn export、Subversionから4つのブランチが必要です。チェックアウトするブランチによっては時間がかかる場合があるので、これをジョブキューに送ることを考えていました。すべてのジョブが完了したら、アプリケーションサービスを再起動します。

これを実行できるジョブキューはありますか？結果をデータベースに取り込むので、私が見た中で最も近いのはセロリだと思います。

分散 JVM アプリケーション用のジョブ キューを実装する必要があります。

キューは、順番に実行する必要があるジョブのグループ (つまり、Java ランナブル) を保持する必要があります。クラスター上で自動的に並列化する必要がある「ジョブ グループ」またはキューが何百もあります。マシンがクラッシュした場合にアプリケーション全体が実行されるように、ジョブ キューはフェールセーフである必要があります。

また、Weel を再発明したくないので、私の要件を満たすことができるライブラリまたはフレームワークが既にある場合は、それを歓迎します。

質問: どのテクノロジーを使用すればよいですか? akkaは適切ですか?他に推奨できるライブラリはありますか?

次のような状況のNodeJSアプリケーションがあります。非常に複雑な数式を使用して計算する必要があるものを計算するようにユーザーから要求を受け取りました。現在、私はその時点でこのプロセス全体を実行し、値を把握してから、それをユーザーに送り返します。残念ながら、これは非同期に適していません:)

代わりに、この操作全体をバックグラウンドで実行し、タスクが完了すると、ワーカーは計算された値を使用して私に戻ってきて、それをユーザーに送り返します。

Kue、Celery、Resque、Beanstalkなど、さまざまなジョブキューを調べてきましたが、どれもこの機能を提供していないようです。メールを送信したり、何らかの価値を受け取る必要のないあらゆる種類のジョブを実行したりする場合に最適です。成功したかどうかはわかりませんが、それを可能にするものはないようです。タスクを作成した元のプロデューサーにカスタムメッセージを実際に送り返すワーカー。

上記のキューのどれもこれをサポートしていないと言っているのは間違っていますか？もしそうなら、私がこの機能の利用について学ぶことができるドキュメントのどこに私を指摘してください。それ以外の場合は、この機能をサポートしている他の人を教えていただけますか？

私は小さなウェブサイトを持っており、人々がアカウントにサインアップできるようにしています.誰かがサインアップした後、ウェルカムメールと確認メールが送信されます.ジョブキューイングシステムを使用してこれを行いたいです. .

これまでジョブキューイングシステムを使用したことはありませんが、これは私がやりたいことです。

いくつかの仕事を他の仕事より優先させたい.たとえば、誰かが私の市外局番から来た場合、確認メールをできるだけ早くまたはすぐに送信したいのに対し、ユーザーが海外から来た場合は、確認メールを後で送信したい.数分、たとえば5分。

私の質問は、実際のジョブがどのように処理されるかです。ジョブが他のジョブよりも優先され、他のワーカーがジョブの開始前に 5 分以上待機する場合、ワーカーに一部のジョブをすぐに処理させることはできますか?

2 番目の質問です。ジョブ キューイング システムは、キューにいくつかのジョブがあることをどのように認識しますか? 待ち行列システムは、設定された時間 (5 分など) ごとに待ち行列をポーリングしますか? それとも、新しく到着したジョブを通知し続ける何らかのメカニズムがありますか?

複数のワーカーがこのキューを監視している単一のジョブ キューがあります。(各ジョブは 1 人のユーザーに対応します)。任意の時点で、ユーザーごとに複数のジョブがキューにある可能性があります。

ワーカーが一度にユーザーごとに複数のジョブを処理することは望ましくありません。ユーザーのジョブは、その時点でこのユーザーを処理しているワーカーが他にいない場合にのみ、ワーカーによって選択される必要があります。ユーザーのジョブがワーカーによって処理されている場合、次のユーザーのジョブが終了したらすぐに選択されるようにしたいと思います。

ワーカーをユーザーにとらわれないようにしたい (つまり、どのワーカーもどのユーザーのジョブも処理できる必要がある)。これは、水平方向にスケーリングするのに役立ちます。

どうすればいいですか？ユーザーごとに個別のキューを作成することについて考えましたが、ワーカーは膨大な数のキューを監視する必要があり、リソースを浪費する可能性があります。現在、Beanstalkd をキュー サーバーとして使用しています。

どんな助けでも大歓迎です。

私は ZEND を初めて使用し、バージョン (ZEND 1.11.1) に取り組んでいます。ZEND アプリケーションに ZEND_QUEUE を実装しようとしていますが、適切なチュートリアルがありません。私はキューを実装しようとしています。

DB用のキューを開発しています。アプリケーションは次の流れのように動作します。 1. ユーザーはアプリケーションを介して SQL クエリを入力し、結果を待ちます。2. クエリが正常に完了すると、クエリは QUEUE に移動され、データベースで処理されます。クエリは、送信された結果をユーザーに送信する必要があります。

私のコントローラーの内部：

私が直面している問題は、コードを追加するフォルダーを理解できないことです。

アプリケーションの要件は CONTROLLER と VIEW のみを使用することであるため、アプリケーションで MODEL を使用していません。

また、Zend_Queue_Adapter_Db を拡張しようとすると、次のエラーが発生します。

致命的なエラー: クラス 'ZendJobQueue' が見つかりません

また

致命的なエラー: F:\wamp\www\helloworld\library\Zend\Controller\Dispatcher\Standard.php:242 でメッセージ「無効なコントローラーが指定されました (エラー)」を含む例外「Zend_Controller_Dispatcher_Exception」がキャッチされませんでした: 242 スタック トレース: #0 F:\wamp \www\helloworld\library\Zend\Controller\Front.php(946):

初心者が ZEND JOBQUEUE を操作するのに役立つ正しいフォルダーまたはチュートリアルについて、親切にアドバイスしてください。

SQL での実装にかかる時間を節約するために、MSMQ を使用してジョブ キューを実装しようとしています。読み回した後、MSMQ は私が求めているものを提供しない可能性があることに気付きました。私の計画が MSMQ を使用して現実的であるかどうか、または代替案をお勧めしますか?

キューからジョブを取得するプロセスがいくつかあります (将来的にはスケールアウトする必要があるかもしれません)。ジョブが取得されると処理が続きます。この間、必要なジョブがチャックバックされた場合、ジョブはステータスによって他のプロセスにロックされます (ステータスが再度変更されます) はさらに処理するためにキューに入れられますが、物理的にジョブは完了するまでキューに留まります。

MSMQ では、処理中にメッセージをキューに保持することはできません。たとえば、覗いたり読んだりできます。読み取りはキューからメッセージを取得し、ピークはメッセージ (ステータス) の変更を許可しません。

ありがとうございました