2

私のセロリはamqpで始まります

     -------------- celery@tty-Gazelle-Professional v3.0.19 (Chiastic Slide)
     ---- **** ----- 
     --- * ***  * -- Linux-3.8.0-25-generic-x86_64-with-Ubuntu-13.04-raring
     -- * - **** --- 
     - ** ---------- [config]
     - ** ---------- .> broker:      amqp://guest@localhost:5672//
     - ** ---------- .> app:         proj.celery:0x25ed510
     - ** ---------- .> concurrency: 8 (processes)
     - *** --- * --- .> events:      OFF (enable -E to monitor this worker)
     -- ******* ---- 
     --- ***** ----- [queues]
     -------------- .> celery:      exchange:celery(direct) binding:celery

機能があります：

    def prime(n):
        .....
        .....
        return number_of_primes_below_n

そこで、この関数をセロリのタスクとして作成し、シリアル計算と比較しました

シリアル:

    [prime(i) for i in xrange(10, 100000)]

セロリとの類似点:

    from celery import *
    
    g = group(prime.s(i) for i in xrange(10, 100000))
    res = g.apply_async()

apply_async() を実行すると、バックエンドで次のように端末画面に非常に迅速に結果が表示されます。

[2013-06-20 16:34:56,238: INFO/MainProcess] Task proj.tasks.do_work[989be06b-c4f3-4876-9311-2f5f813857d5] succeeded in 0.0166230201721s: 99640324
[2013-06-20 16:34:56,241: INFO/MainProcess] Task proj.tasks.do_work[6eaa9b85-7ba2-4397-b6ae-cbb5668633d4] succeeded in 0.0123620033264s: 99740169
[2013-06-20 16:34:56,242: INFO/MainProcess] Task proj.tasks.do_work[1f5f6302-94a3-4937-9914-14690d856a5d] succeeded in 0.00850105285645s: 99780121
[2013-06-20 16:34:56,244: INFO/MainProcess] Task proj.tasks.do_work[b3735842-a49c-48a3-8a9e-fab24c0a6c23] succeeded in 0.0102620124817s: 99820081
[2013-06-20 16:34:56,245: INFO/MainProcess] Task proj.tasks.do_work[98eec31a-52eb-4752-92af-6956c0e6f130] succeeded in 0.00973200798035s: 99880036
[2013-06-20 16:34:56,245: INFO/MainProcess] Task proj.tasks.do_work[011a1e99-b307-480b-9765-b1a472dbfa8c] succeeded in 0.0115168094635s: 99800100
[2013-06-20 16:34:56,245: INFO/MainProcess] Task proj.tasks.do_work[f3e3a89f-de79-4ab0-aab7-0a71fe2ab2f7] succeeded in 0.010409116745s: 99840064
[2013-06-20 16:34:56,246: INFO/MainProcess] Task proj.tasks.do_work[61baef04-03c2-4810-bf6a-ae7aa75b80b4] succeeded in 0.0112910270691s: 99860049

しかし、セロリで結果を取得したい場合

    res.get()

非常に遅く、シリアルよりもはるかに遅く実行されます。何が問題ですか？セロリ群の結果が出るのが遅いからでしょうか。どうすれば問題を解決できますか?

4

1 に答える 1

5

res.get() 操作の時間を計ると、気付くでしょう (本当だといいのですが)、それは常に約 500 ミリ秒です。これは、AsyncResult.getがNミリ秒ごとに結果をポーリングする必要があるためです。get、 intervalに追加のパラメーターを指定することで、これを調整できます。

res.get(interval=0.005)

詳細については、ドキュメントとソースを参照してください。Celery は RPC のような通信に最適なソリューションではないことに注意してください。結果のポーリングはパフォーマンスに大きな影響を与えるためです。

私自身の質問

于 2013-06-22T05:18:41.857 に答える