0

今日、問題が発生しました。ポスターモジュールを使用してhttpPOSTでマルチパートフォームをアップロードしています。

フォームの一部はファイルであり、ポスターはそれをストリーミングします-これは素晴らしいことです。

私が抱えている問題はContent-Length、アップロードが始まる前に事前に計算されることですが、フォームデータが動的に生成されるため、アップロードされるデータの量が異なる可能性があります（これは、フォームは、アップロード中に外部のものによって変更されます）。

ファイルが長くなると、サーバーは、コンテンツの長さで指定された量のデータを受信したときに接続を閉じてから、Connection reset by peerエラーが発生します。ファイルが短くなると、サーバーが約束した残りのバイトを待機している場所でアップロードがハングします。

後者の場合、ハングしたアップロードを中断すると、このスタックトレースが取得されます。

Traceback (most recent call last):
  File "/Users/paul/Source/Python/test_uploader.py", line 35, in <module>
    gUpload(target_file, size, result.signed, callback, md5=md5)
  File "/Users/paul/Source/Python/PythonApp/upload.py", line 597, in handlingHttpError
    return func(*args, **kwargs)
  File "/Users/paul/Source/Python/PythonApp/upload.py", line 663, in gUpload
    urllib2.urlopen(request)
  File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib2.py", line 126, in urlopen
    return _opener.open(url, data, timeout)
  File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib2.py", line 400, in open
    response = self._open(req, data)
  File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib2.py", line 418, in _open
    '_open', req)
  File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib2.py", line 378, in _call_chain
    result = func(*args)
  File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/poster-0.8.1-py2.7.egg/poster/streaminghttp.py", line 142, in http_open
    return self.do_open(StreamingHTTPConnection, req)
  File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib2.py", line 1180, in do_open
    r = h.getresponse(buffering=True)
  File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/httplib.py", line 1030, in getresponse
    response.begin()
  File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/httplib.py", line 407, in begin
    version, status, reason = self._read_status()
  File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/httplib.py", line 365, in _read_status
    line = self.fp.readline()
  File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/socket.py", line 447, in readline
    data = self._sock.recv(self._rbufsize)
KeyboardInterrupt

この状況にどのように対処できますか？エラーをスローしてもかまいませんが、このハングは私を殺しています！

4

1 に答える 1

1

提案に感謝しますが、私のプロセスはほとんどの場合、アップロードしているファイルを編集している可能性のあるプロセスよりも優先度が低くなるため、ファイルをロックする余裕はありません。

これは私が最終的に行ったものです、それはうまくいくようです！

class SizeCheckFile(file):
    def __init__(self, size, *args, **kwargs):
        file.__init__(self, *args, **kwargs)
        self.size = size
        self.data_read = 0

    def read(self, *args, **kwargs):
        data = file.read(self, *args, **kwargs)
        self.data_read += len(data)
        if self.data_read > self.size:
            raise UploadSizeMismatchError("File has grown!")
        elif not data and self.data_read != self.size:
            raise UploadSizeMismatchError("File has shrunk!")
        return data

    def seek(self, *args, **kwargs):
        current_pos = self.tell()
        file.seek(self, *args, **kwargs)
        if current_pos != self.tell():
            raise NotImplementedError("%s currently assumes the file is being read from start to finish!" % self.__class__.__name__)

MultipartParam filesizeコンストラクターに渡すサイズは、パラメーターのposterに渡すサイズと同じです。

もちろん、これはシークが行われていないことを前提としています。または、seek読み取られている内容をオーバーライドして正確に追跡する必要がありますが、私のユースケースでは、ファイルがストリーミングされるので心配する必要はありません。

于 2013-02-27T19:43:01.117 に答える