問題タブ [task-queue]

Brett Slatkin は、Google I/O 2009 の「App Engine でのオフライン処理: 今後の展望」プレゼンテーション (ビデオ、スライド) で、Task Queue サービスについて説明しています。

彼は次のように述べています

Pub-Sub システムはトランザクションを最大化し、分離します:

• 1 秒あたりの多数の小さなトランザクション
• レシーバーの変更による 1 対多のファンアウト
• 保証された順序付け、フィルタリング、2 フェーズ コミット

そして具体的に強調する

新しい API は、pub-sub ではなくキューイングを実装します

これらの機能のサブセットのみに興味があります。

• 1 対多のファンアウト変化選択/固定された内部レシーバ ハンドラ
• 注文保証、フィルタリング、2 フェーズ コミット

的を絞った目標は、同じ Web アプリケーションの異なるモジュール間での通知/メッセージの公開を容易にすることです。使用シナリオの例は次のとおりです。

• 請求書の受領を支払いモジュールに認識させる。
• ユーザーがフォロー/スターを付けた特定のドメイン オブジェクトの変更を追跡できるようにする。

これらを Task Queue サービスの上に実装する正しい方法は何でしょうか?

I have the need to create a queue-based system where multiple threads will add actions to be processed by the queue.

Sounds simple enough, but my actions will be asynchronous (with animations) so I do not want to start the next action in the queue until the animation of the previous action is completed.

How could I do this?

ほぼ同期も機能します。基本的に、ほとんどのジョブのタスクキューにWebアプリの背後でデータアクセスと処理を委任したいと思います。セロリのタスクに合理的と見なすことができる最速のレイテンシーはどれくらいですか？

更新（明確化のため）

わかりやすくするために、スループットは（良いのですが）私にとって必要な問題ではないことを説明する必要があると思います。しばらくの間、その方向にスケーリングする必要はありません。レイテンシーは、現時点で評価する唯一の基準です。それが機能する唯一の方法である場合、私は使用することに満足してtask.applyいますが、少し作業を進めたいと思います。

結果が大きいCeleryで実行されたタスクを処理する最良の方法は何ですか? 数百メガバイトのデータを返すテーブル ダンプなどを考えています。

メッセージを結果データベースに詰め込むという素朴なアプローチは、ここでは役立たず、結果のバックエンドに AMQP を使用する場合はなおさらだと思います。ただし、遅延が問題になるこれらのいくつかがあります。エクスポートの特定のインスタンスによっては、返されるまでブロックして、タスク クライアントからエクスポート データを直接送信する必要がある場合があります (エクスポート コンテンツに対する HTTP 要求が着信しましたが、存在しませんが、その要求への応答 ... 時間がかかっても)

では、このためのタスクを作成する最良の方法は何ですか?

何かが起こる前に、タスクが処理されるのを待つタスクキューにどれくらいの時間留まることができますか？それが永遠ではない場合、起こるかもしれないそれらの何かは何ですか？

処理速度が非常に遅いキューに非常に多くのタスクを追加して、それらを数日/数週間/数か月にわたって処理させることはできますか？

順番待ちが長すぎる場合、タスクはキューから排出されますか？

タスクキューの割り当てと制限によると

これは、タスクが順番を待つことができる時間ではなく、将来的に意図的/プログラム的にetaを設定することについて話していると思います。

私は非常に基本的な PHP スクリプトを使用して、見つけた興味深いリンクを自分のサイトのフィルター可能なリストに投稿したり、RSS フィードにも投稿したりします (このフィードバーナーは、ping を実行するとツイートします)。

一度に複数のエントリを送信し、それぞれがリリースされる将来の日時をスケジュールできる「キュー」を追加するのはどれほど難しいのでしょうか?

Twufferが Twitter やTumblrで行っていることや、Wordpress がブログ投稿で行っていることと同様です。

これには cron ジョブが必要ですか? おそらく、私のPHPスクリプトが別のファイル「drafts.txt」を書き込んでいる場合、それが将来の投稿であり、スケジュールされたcronが時間/日付=かどうかを確認し、それを他のファイルに書き込んでいますか?

私は明らかに初心者ですが、助けていただければ幸いです。ありがとう！

これが私の現在の小さなスクリプトです：

現在、バックグラウンドで実行されているタスクがあります。タスクの実行が完了したら、出力を表示する必要があります。Google App Engine でこれを行うにはどうすればよいですか?

タスクが完了したら、私にできる唯一のことは、出力を表示するはずの別のタスクを作成することですか、それとも他の方法はありますか?

ダッシュボードでキューが無効モードになり、そのキューに追加されたタスクが実行されていません。

ドキュメントを確認しましたが、これに関連するものは見つかりませんでした。

キュー名はコードの多くの部分に配置されており、1 回のプッシュで変更できませんでした。

誰でもレシピを手伝ってキューをライブに戻すことができます..

複数のタスクを含むタスク キューがあります。Admin Console から特定のタスクを削除すると、そのタスクはタスク キューから消えますが、GAE はそれを終了しません。タスクはまだバックグラウンドで実行中です。これは一般的な動作ですか?

失敗したタスクの再試行オプションを無効にする方法はありますか? queue.yaml でこれを行うことはできません

再試行を無効にする他のオプションはありますか?