14

Tornadoを使用すると、別のWebサービスに多くのリクエストを送信してデータを処理するため、Getリクエストに時間がかかり、完全に完了するまでに数分かかる場合があります。これにより、Webサーバー全体が他の要求に応答するのをブロックしたくありません。

私が理解しているように、Tornadoはシングルスレッドであり、非同期で処理しますが、各要求を同期的に実行します（そのビットではまだ混乱しています）。サーバーが他の要求を処理できるようにするための一時停止ポイントになる可能性のある長いプロセスの一部があります（可能な解決策？）。私は単一のワーカーを使用してHerokuで実行しているので、Pythonでの経験がない新しいスレッドやマルチプロセッシングの生成にどのように変換されるかわかりません。

これが私がやろうとしていることです：クライアントはプロセスを開始するためにget呼び出しを行い、次に5秒ごとに別のget呼び出しをループしてステータスを確認し、新しい情報でページを更新します（長いポーリングも機能しますが実行中です）同じ問題に）。問題は、長いプロセスを開始すると、完了するまですべての新しいget要求（または新しい長いポーリングセッション）がブロックされることです。

この長いget呼び出しを開始し、その過程でWebサーバー全体をブロックしないようにする簡単な方法はありますか？コードに入力して、「一時停止し、保留中のリクエストを処理してから続行する」と言うことができるものはありますか？

ProcessHandlerでgetリクエストを開始する必要があります。次に、ProcessHandlerの実行中にStatusHandlerを照会できるようにする必要があります。

例：

class StatusHandler(tornado.web.RequestHandler):
    @tornado.web.asynchronous
    def get(self):
       self.render("status.html")

class ProcessHandler(tornado.web.RequestHandler):
    @tornado.web.asynchronous
    def get(self):
       self.updateStatus("0")
       result1 = self.function1()
       self.updateStatus("1")
       result2 = self.function2(result1)
       self.updateStatus("2")
       result3 = self.function3(result2)
       self.updateStatus("3")
       self.finish()
4

2 に答える 2

18

gen.Taskこれは、非同期HTTPクライアントとモジュールを使用して物事を簡単にする完全なサンプルTornadoアプリです。

ドキュメントで詳細を読むgen.Taskと、実際に複数のリクエストを同時にディスパッチできることがわかります。これは、すべてがブロックされず、単一のプロセスを維持するというトルネードのコアアイデアを使用しています。

更新：スレッドハンドラーを追加して、作業を2番目のスレッドにディスパッチし、完了時に受け取る方法を示しましたcallback()。

import os
import threading
import tornado.options
import tornado.ioloop
import tornado.httpserver
import tornado.httpclient
import tornado.web
from tornado import gen
from tornado.web import asynchronous

tornado.options.define('port', type=int, default=9000, help='server port number (default: 9000)')
tornado.options.define('debug', type=bool, default=False, help='run in debug mode with autoreload (default: False)')

class Worker(threading.Thread):
   def __init__(self, callback=None, *args, **kwargs):
        super(Worker, self).__init__(*args, **kwargs)
        self.callback = callback

   def run(self):
        import time
        time.sleep(10)
        self.callback('DONE')

class Application(tornado.web.Application):
    def __init__(self):
        handlers = [
            (r"/", IndexHandler),
            (r"/thread", ThreadHandler),
        ]
        settings = dict(
            static_path = os.path.join(os.path.dirname(__file__), "static"),
            template_path = os.path.join(os.path.dirname(__file__), "templates"),
            debug = tornado.options.options.debug,
        )
        tornado.web.Application.__init__(self, handlers, **settings)

class IndexHandler(tornado.web.RequestHandler):
    client = tornado.httpclient.AsyncHTTPClient()

    @asynchronous
    @gen.engine
    def get(self):
        response = yield gen.Task(self.client.fetch, "http://google.com")

        self.finish("Google's homepage is %d bytes long" % len(response.body))

class ThreadHandler(tornado.web.RequestHandler):
    @asynchronous
    def get(self):
        Worker(self.worker_done).start()

    def worker_done(self, value):
        self.finish(value)

def main():
    tornado.options.parse_command_line()
    http_server = tornado.httpserver.HTTPServer(Application())
    http_server.listen(tornado.options.options.port)
    tornado.ioloop.IOLoop.instance().start()

if __name__ == "__main__":
    main()
于 2012-10-24T15:04:19.790 に答える
6

コブラのソリューションは素晴らしいです。tornado.genを利用する代替手段を次に示します。

import tornado.ioloop
import tornado.web
import tornado.gen
import tornado.concurrent
import time
from threading import Thread
from functools import wraps

def run_async(func):
  @wraps(func)
  def async_func(*args, **kwargs):
    func_hl = Thread(target = func, args = args, kwargs = kwargs)
    func_hl.start()
    return func_hl

  return async_func

@run_async
def sleeper(callback):
  i = 0
  while i <= 10:
    print i
    time.sleep(1)
    i += 1
  callback('DONE')


class MainHandler(tornado.web.RequestHandler):
    @tornado.web.asynchronous
    @tornado.gen.coroutine
    def get(self):
        response = yield tornado.gen.Task(sleeper)
        self.write(response)
        self.finish()

class OtherHandler(tornado.web.RequestHandler):
    def get(self):
        self.write('hello world')
        print 'in other'
        self.finish()
于 2013-04-11T15:15:14.370 に答える