問題タブ [gearman]

同じワーカーを実行している 2 台のマシンがあります。1 台のマシンは非常に強力なので「プライマリ」にする必要があり、もう 1 台のマシンは、プライマリ マシンがダウンまたはクラッシュした場合のバックアップとしてサーバーに配置する必要があります。プライマリ マシンが稼働している場合、使用可能なワーカーがある限り、すべてのジョブはデフォルトでプライマリ マシンに設定されます。

私のテストから、gearmanD がジョブを送信するマシンをランダムに選択することに気付きました。ジョブを送信するマシンに優先順位を付ける方法はありますか?

例：

同じワーカーの 8 つのインスタンスを実行するプライマリ マシン 1 つのインスタンスを実行するバックアップ マシン

すべきこと: ジョブ キューをいっぱいにするために使用可能なワーカーがなくなるまでプライマリ マシンを使用し、その後バックアップ マシンに進みます。

これを達成する方法はありますか？

みんな、ありがとう！

起動時に起動するPythonデーモンを作成しようとしています。スクリプトの目的は、ギアマンの負荷分散サーバーからジョブを受け取り、ジョブを完了することです。pypi（http://pypi.python.org/pypi/python-daemon/）のpython-daemonモジュールを使用しています。完了しているジョブの性質は、orf（オリンパスRAW画像形式）の画像をjpegに変換することです。これを実現するために、外部プログラム（この場合はufraw）が使用されます。起動時にデーモンを起動すると問題が発生します。シェルから起動すると、デーモンは完全に実行され、作業が完了します。起動時に起動すると、サブプロセスコマンドを起動できません。

何が間違っているのかわかりません。助けてくれてありがとう。

永続的な Gearman キューと結合するスケジューラーについての経験や考えを持っている人はいますか?

明らかに crontab が利用可能ですが、もう少し機能が欲しいです。私たちは Java Quartz を見ています。

以前に何らかの形でこれを行ったことがある場合は、検討してください。

ギアマンサーバーにクエリを実行して、実行しているワーカーのインスタンスの数を特定できるようにしたい（基本的に、それらのタスクを処理するワーカーがいない場合に利用RunTaskA可能であり、利用可能であることを確認したいので、送信できるようにしたい）RunTaskBアラートアウト。

これを行う方法はありますか？

また、ギアマンサーバーにクエリを実行するPHPの方法を知っている場合は、狂った小道具です。

編集：ネイティブで利用可能なPHPギアマン拡張機能については知っていますが、タスク送信拡張機能を探していません。ギアマンサーバーにクエリを実行して、特定のタスクを処理しているワーカーの数を確認できるものが必要です。

この問題を解決する方法を誰か他の人が考え出したのではないかと思いました。PECLを介して拡張機能をインストールする場合でも、手動でコンパイルする場合でも、同じエラーが発生します。

この問題を解決する方法がわからず、机に頭をぶつけることができるのは何度もしかありません。

今のところ、バックグラウンド処理にGearmanを使用したいだけです。たとえば、送信者がDBにメッセージを送信したら、受信者にプライベートメッセージが待機していることを電子メールで送信する必要があります。プライマリサーバーでワーカー/クライアントとサーバーを実行できると思いますが、一部のタスクを別のWebサーバーにオフロードすることに問題はありません。

とにかく、私の質問は、複数の「関数」をどのように処理するかです。メール部分を処理するジョブと画像操作を処理するジョブが必要だとします。ワーカーに複数の機能を持たせることはできますか？オンラインで見つけたいくつかの例に従いましたが、各例は初期化されている1つの関数のみを示しています。複数の機能を処理するには、複数の「ワーカー」を起動する必要がありますか？

多くの人が Gearman について議論していることに気付きました。Gearman のスケジューリング機能により、作業を他のサーバーに分散できます。ただし、ネイティブの cronjobs との比較はまだ見たことがありません。

cron と Gearman の違いは何ですか?

ローカルの Ubuntu テスト環境に Gearman をインストールすることができました。開発段階で、同じコンピューターでワーカーとクライアントの両方を何らかの方法で実行できるのだろうか?

私には、job1などのジョブを送信するギアマンクライアントが多数います。

このジョブの処理には、たとえば10秒かかります。ある時点でワーカーが作業するのを待っている「job1」ジョブの数を追跡したいと思います。どうやってやるの？

一般的な非同期ジョブを開始するユーザー要求を受け入れ、ジョブを実行するためのワーカープロセス/スレッドを作成することを目的としたPHPWebアプリケーションについて考えてみます。ジョブは特にCPUやメモリを集中的に使用しませんが、I/O呼び出しをかなり頻繁にブロックすることが予想されます。1秒間に開始するジョブは1つか2つまでですが、実行時間が長いため、一度に多くのジョブが実行される場合があります。

したがって、ジョブを並行して実行することが最も重要です。また、各ジョブは、ハングしたワーカーの強制終了、ユーザーの要求に応じたワーカーの中止などを担当するマネージャーデーモンによって監視される必要があります。

このようなシステムを実装するための最良の方法は何ですか？私は見えます：

1. マネージャーからワーカーをフォークする-これは最低レベルのオプションのようであり、私は自分で監視システムを実装する必要があります。ApacheはWebサーバーであるため、このオプションでは、PHPワーカーをFastCGI経由で起動する必要があるようです。
2. ある種のジョブ/メッセージキューを使用します。（gearman、beanstalkd、RabbitMQなど）-当初、これは当然の選択のように思われました。いくつかの調査の後、私はすべてのオプションと多少混乱しています。たとえば、Gearmanは、ワーカーの固定プールがある巨大な分散システム用に設計されているように見えます...したがって、必要なもの（ジョブごとに1人のワーカー）に適しているかどうかはわかりません。