問題タブ [task-queue]

Google App Engineのタスクキューには次のような構成があります（例）

ここで、「バケットサイズ」とはどういう意味ですか？GoogleAppEngineのドキュメントでこれに関する包括的なドキュメントを見つけることができませんでした。

これを10として指定すると、100個のタスクが瞬時にキューに入れられた場合、そのうちの10個だけがキューに入れられ、残りは無視されますか？

Google I / O2010のAppEngineセッションでバッチデータ処理を見て、Google ResearchのMapReduce記事の一部を読んだところ、GoogleAppEngineでMapReduceを使用してPythonでレコメンダーシステムを実装することを考えています。

Task Queue APIの代わりにappengine-mapreduceを使用することをお勧めします。前者は、ある種のすべてのインスタンス、自動バッチ処理、自動タスクチェーンなどを簡単に反復できるためです。問題は、レコメンダーシステムが2つの異なるモデルのインスタンス間の相関を計算する必要があることです。つまり、2つの異なる種類のインスタンスです。

例：ユーザーとアイテムの2つのモデルがあります。それぞれに属性としてタグのリストがあります。以下は、ユーザーとアイテム間の相関を計算するための関数です。calculateCorrelationユーザーとアイテムのすべての組み合わせに対して呼び出す必要があることに注意してください。

しかし、それcalculateCorrelationはappengine-mapreduceの有効なマッパーではなく、おそらくこの関数はMapReduce計算の概念と互換性さえありません。それでも、私は確信する必要があります...自動バッチ処理やタスクチェーンなどのappengine-mapreduceの利点があることは私にとって本当に素晴らしいことです。

そのための解決策はありますか？

独自のInputReaderを定義する必要がありますか？2つの異なる種類のすべてのインスタンスを読み取る新しいInputReaderは、現在のappengine-mapreduce実装と互換性がありますか？

または、次のことを試してみるべきですか？

• これら2種類のすべてのエンティティのすべてのキーを2つずつ組み合わせて新しいモデルのインスタンスにします（おそらくMapReduceを使用）
• この新しいモデルのインスタンスに対してマッパーを使用して反復します
• インスタンスごとに、その中のキーを使用して、異なる種類の2つのエンティティを取得し、それらの間の相関を計算します。

データストアとタスクキューのダウンタイムの間にはどのような相関関係がありますか？

（データストアのダウンタイムが発生した場合に、タスクキューを使用して一部の操作を延期したいと思います。）

分散タスク処理にセロリを使用しています。プロジェクトの動作を示すためだけに、自分の作業をWebホストにデプロイしたかったのです。では、どうすればdjceleryにデータベース（sqlalchemy）をバックエンドとしてrabbitmqや他のamqpサーバーの代わりにdjangoで使用させることができますか？

タスク (queueing-task) を使用して、他の複数のタスク (ファンアウト) をキューに入れています。task 引数が5 つ以上の要素を持つTaskインスタンスのリストであり、トランザクション内にあるQueue.addを使用しようとすると、このエラーが発生します。

トランザクションで 5 つ以上のタスクをキューに入れる別の方法はありますか?

または...

たぶん、トランザクションは必要ありません。原因:

1. とにかく、これらのタスクのいずれかが 2 回キューに入れられても気にしません。
2. それらのいずれかでキューイングが失敗した場合、キューイングタスク全体が再実行されます。

トランザクションで 5 つ以上のタスクをキューに入れる方法を教えてください。またはトランザクションを使用しないように教えてください。トランザクションは本当に必要ないからです。

2番目のキューが一時停止している間に2番目のキューにタスクを追加するタスクキューがあります。一時停止しているタスクキューにタスクを追加することはできますか？

ダッシュボードまたは開発サーバー コンソールで、現在キューに入れられているタスクと実行中のタスクを表示できることは知っています。ただし、そのリストをプログラムで取得する方法はありますか? ドキュメントでは、タスクをキューに追加する方法のみが説明されていますが、それらをリストおよび/またはキャンセルする方法は説明されていません。

Pythonでお願いします。

GAE とタスク キューを使用しています。queue.yaml ファイルでは、デフォルト設定の 5/s を保持します。1 か月前はこれで十分だと思っていましたが、現在は 1 つのキューに約 40 ～ 50 のタスクがあり、アプリケーションの実行が遅すぎます。

1 秒あたりのタスク数が十分か知りたいですか? 100/s に変更できますか?

ありがとうございました ：）

アップデート：

私のアプリケーションは、いくつかのソーシャル ネットワークからデータを取得し、計算してデータストアに保存します。GAE の 30 秒を超えるために、この操作をタスクに分割しました。GAEに変更してデプロイする前に、GAEタスクキューの制限を知りたい:)

タスク キューを使用してデータベースの値を変更できますが、タスク キューを使用して Ajax のように戻り値を取得するにはどうすればよいですか?

これは私のコードです：

「sss」を表示するにはどうすればよいですか?

Google App Engineタスクを複数回実行できるのはなぜですか？Google I / O2009のBrettSlatkinの話によると、サーバーに障害が発生していなくても、タスクが誤って2回実行される可能性があります。

これは、スレッドの誤ったウェイクアップと関係がありますか？