GAE バックエンドとタスクキューに問題があります。基本的に何が起こるかというと、バックエンドが数分間にわたっていくつかの URL フェッチ呼び出しを行った後、タスクが開始されずにスタックし始めます。強制レートは 0.10/s に低下し、キューはほとんど移動しません。バックエンド インスタンスを再起動すると動き始めますが、再び 0.10/秒の強制レートに達するだけです。
私は現在、アプリが約 70000 の URL を走査し、HTML を取得し、HTML の値をチェックし、HTML の値に基づいてデータストアのいくつかのレコードを更新する必要がある GAE プロジェクトに取り組んでいます。
実装には、毎分約 300 個の URL を取得し、それらを 10 ごとに分割して、タスク キュー内のさまざまなタスクに割り当てる cron ジョブが含まれます。各タスクは 10 個の URL を通過し、コンテンツを処理します。
B4 静的バックエンド インスタンスを実行しています。タスク キュー レートは 5/s です。最大同時リクエスト数は 8 です。タスク エージングも追加してみましたが、役に立ちませんでした。
---- 2013 年 10 月 19 日 ----
編集：多くのコードをコメントアウトして、問題をURLフェッチングに絞り込みました。どうやら URL フェッチを削除すると、物事は非常にスムーズに実行されます。それでも、すべての接続関連のリソースを閉じたと確信しているため、これを修正する方法がわかりません。