2 
self.agent = Agent(reactor, pool=pool)
self.deferred = self.agent.request(
            'GET',
            self.url,
            Headers({'User-Agent': ['Mozilla/5.0']})
        )

self.deferred.addCallback(self.gotResponse)

しかし、gotResponseは、すべてではなく、受信したデータのすべての部分を要求しました。収集できましたが、すべてのデータを取得したことを知るにはどうすればよいですか？

編集：

私はこれを見つけました（「応答本文が完全に受信された場合」という言葉から）が、これを実装する方法がまだわかりません。つまり、「失敗はラップする...」とはどういう意味ですか？

4

3 に答える 3

3

ツイスト13.1.0では、readBody（）を使用できます。http://twistedmatrix.com/documents/13.1.0/api/twisted.web.client.readBody.htmlから 、「これは、HTTP応答の本文を段階的に受信したくないクライアント向けのヘルパー関数です。 「」

コールバックからreadBody（）を呼び出します。上記の例ではdataReceived（）を呼び出します。これはデータを処理し、readBody（）は遅延を返します。これに、全身をパラメーターとして取得する別のコールバックをアタッチします。

HTH、リシャッド。

于 2013-10-25T14:36:29.590 に答える
2

ねじれたドキュメントは、これを行う方法の例を提供します。

http://twistedmatrix.com/documents/current/web/howto/client.htmlから

from pprint import pformat

from twisted.internet import reactor
from twisted.internet.defer import Deferred
from twisted.internet.protocol import Protocol
from twisted.web.client import Agent
from twisted.web.http_headers import Headers

class BeginningPrinter(Protocol):
    def __init__(self, finished):
        self.finished = finished
        self.remaining = 1024 * 10

    def dataReceived(self, bytes):
        if self.remaining:
            display = bytes[:self.remaining]
            print 'Some data received:'
            print display
            self.remaining -= len(display)

    def connectionLost(self, reason):
        print 'Finished receiving body:', reason.getErrorMessage()
        self.finished.callback(None)

agent = Agent(reactor)
d = agent.request(
    'GET',
    'http://example.com/',
    Headers({'User-Agent': ['Twisted Web Client Example']}),
    None)

def cbRequest(response):
    print 'Response version:', response.version
    print 'Response code:', response.code
    print 'Response phrase:', response.phrase
    print 'Response headers:'
    print pformat(list(response.headers.getAllRawHeaders()))
    finished = Deferred()
    response.deliverBody(BeginningPrinter(finished))
    return finished
d.addCallback(cbRequest)

def cbShutdown(ignored):
    reactor.stop()
d.addBoth(cbShutdown)

reactor.run()

BeginningPrinterのconnectionLost（）メソッドは、リクエストが完了すると呼び出されます。

Response version: ('HTTP', 1, 0)
Response code: 302
Response phrase: Found
Response headers:
[('Location', ['http://www.iana.org/domains/example/']), ('Server', ['BigIP'])]
Finished receiving body: Response body fully received

チェックif reason.check(twisted.web.client.ResponseDone)すると成功したかどうかがわかるようです。

于 2012-10-13T18:42:09.043 に答える
1

私はあなたに適切な答えを与えるのに十分なねじれに精通していません...しかし私はいくつかの良い方向を指すことができます。

ツイストディファードを使用すると、何かが完了したときにトリガーされるコールバック（成功）とエラーバック（失敗）のチェーンを作成します。

あなたの例では、self.agent.requestが何をするのか、なぜデータの一部を返すのかわかりません。それは私には完全に「正しい」ようには聞こえませんが、通常、遅延されたSemaphoreService内にラップされたブロッキングコードを含むURLをフェッチします。

しかし、あなたのコードに基づいて、私は2つのことを提案したいと思います：

a-ここで延期について読んでくださいhttp://twistedmatrix.com/documents/current/core/howto/defer.html

b-不正なリクエストを処理するためにerrbackを追加する必要があります。「ラッピング」に関するテキストは、twistedが実際にはエラーを発生させないという事実に対処する必要があります。代わりに、実行するerrBacksを定義でき、それらのエラーをトラップできます。ツイストの方がうまくいけば、これをもう少し適切に説明できますが、遅延は非同期であるため、エラーを効果的に処理するには、このようなメカニズムが必要です。

class YourExample(object):
    def your_example(self):
        self.agent = Agent(reactor, pool=pool)
        self.deferred = self.agent.request(
                'GET',
                self.url,
                Headers({'User-Agent': ['Mozilla/5.0']})
            )

        self.deferred.addCallback(self.gotResponse).addErrback(self.gotBadResponse)

def gotBadResponse(self,raised):
    """you might have cleanup code here, or mark the url as bad in the database, or something similar"""
    pass
于 2012-10-13T19:11:57.397 に答える