15

Pythonで短縮URLトランスレータエンジンを構築しましたが、大量の「壊れたパイプ」エラーが発生しました。BaseHTTPServerクラスを使用するときにそれを最適にトラップする方法に興味があります。これはコード全体ではありませんが、私がこれまでに行っていることのアイデアを提供します。

    from BaseHTTPServer import BaseHTTPRequestHandler, HTTPServer
    import memcache

    class clientThread(BaseHTTPRequestHandler):

            def do_GET(self):
                    content = None
                    http_code,response_txt,long_url = \
                            self.ag_trans_url(self.path,content,'GET')
                    self.http_output( http_code, response_txt, long_url )
                    return

            def http_output(self,http_code,response_txt,long_url):
                    self.send_response(http_code)
                    self.send_header('Content-type','text/plain')
                    if long_url:
                            self.send_header('Location', long_url)
                    self.end_headers()
                    if response_txt:
                            self.wfile.write(response_txt)
                    return

        def ag_trans_url(self, orig_short_url, post_action, getpost):
                short_url = 'http://foo.co' + orig_short_url

                # fetch it from memcache
                long_url = mc.get(short_url)

                # other magic happens to look it up from db if there was nothing
                # in memcache, etc
                return (302, None, log_url)

def populate_memcache()
        # connect to db, do lots of mc.set() calls

def main():
        populate_memcache()
        try:
                port = 8001
                if len(sys.argv) > 1:
                        port = int(sys.argv[1])
                server = HTTPServer(('',port), clientThread)
                #server.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
                print '[',str(datetime.datetime.now()),'] short url processing has begun'

                server.serve_forever()
        except KeyboardInterrupt,SystemExit:
                print '^C received, shutting down server'
                server.socket.close()

コード自体はうまく機能しますが、本番環境ではほとんどすぐにエラーが発生し始めます。

Traceback (most recent call last):
  File "/usr/lib/python2.5/SocketServer.py", line 222, in handle_request
    self.process_request(request, client_address)
  File "/usr/lib/python2.5/SocketServer.py", line 241, in process_request
    self.finish_request(request, client_address)
  File "/usr/lib/python2.5/SocketServer.py", line 254, in finish_request
    self.RequestHandlerClass(request, client_address, self)
  File "/usr/lib/python2.5/SocketServer.py", line 522, in __init__
    self.handle()
  File "/usr/lib/python2.5/BaseHTTPServer.py", line 316, in handle
    self.handle_one_request()
  File "/usr/lib/python2.5/BaseHTTPServer.py", line 310, in handle_one_request
    method()
  File "/opt/short_url_redirector/shorturl.py", line 38, in do_GET
    self.http_output( http_code, response_txt, long_url )
  File "/opt/short_url_redirector/shorturl.py", line 52, in http_output
    self.send_response(http_code)
  File "/usr/lib/python2.5/BaseHTTPServer.py", line 370, in send_response
    self.send_header('Server', self.version_string())
  File "/usr/lib/python2.5/BaseHTTPServer.py", line 376, in send_header
    self.wfile.write("%s: %s\r\n" % (keyword, value))
  File "/usr/lib/python2.5/socket.py", line 274, in write
    self.flush()
  File "/usr/lib/python2.5/socket.py", line 261, in flush
    self._sock.sendall(buffer)
error: (32, 'Broken pipe')

これらのエラーの大部分は、send_header（）メソッドの呼び出しに問題があることに起因しているようです。ここで私が書いているのは次のとおりです。

self.send_header('Location', long_url)

したがって、コードのどこでこのIO例外をトラップしようとするのか興味があります...各self.send_header / self.end_headers / self.wfile.write呼び出しの周りにtry/except呼び出しを記述しますか？私が時々目にする他のエラーはこれですが、これをキャッチするためにどの例外を監視するべきかわかりません：

Traceback (most recent call last):
  File "/usr/lib/python2.5/SocketServer.py", line 222, in handle_request
    self.process_request(request, client_address)
  File "/usr/lib/python2.5/SocketServer.py", line 241, in process_request
    self.finish_request(request, client_address)
  File "/usr/lib/python2.5/SocketServer.py", line 254, in finish_request
    self.RequestHandlerClass(request, client_address, self)
  File "/usr/lib/python2.5/SocketServer.py", line 522, in __init__
    self.handle()
  File "/usr/lib/python2.5/BaseHTTPServer.py", line 316, in handle
    self.handle_one_request()
  File "/usr/lib/python2.5/BaseHTTPServer.py", line 299, in handle_one_request
    self.raw_requestline = self.rfile.readline()
  File "/usr/lib/python2.5/socket.py", line 381, in readline
    data = self._sock.recv(self._rbufsize)
error: (104, 'Connection reset by peer')
4

3 に答える 3

10

これは SocketServer のバグのようです。このリンクPython Bug: 14574を参照してください。

修正 (Python 2.7 で動作します) は、SocketServer.StreamRequestHandler の finish() メソッドを次のようにオーバーライドすることです。

...
def finish(self,*args,**kw):
  try:
    if not self.wfile.closed:
      self.wfile.flush()
      self.wfile.close()
  except socket.error:
    pass
  self.rfile.close()

  #Don't call the base class finish() method as it does the above
  #return SocketServer.StreamRequestHandler.finish(self)
于 2013-01-16T09:31:24.050 に答える
8

「壊れたパイプ」例外は、コードが、もう一方の端が閉じているソケット/パイプに書き込もうとしたことを意味します。もう一方の端が Web ブラウザーである場合、ユーザーは要求を停止した可能性があります。トレースバックは無視できます。重大な問題を示すものではありません。メッセージを抑制したい場合は、 http_output 関数のすべてのコードを try ... except ブロックで囲み、必要に応じて例外をログに記録します。

さらに、HTTP サーバーで一度に複数の要求を処理する場合は、サーバー クラスで SocketServer.ForkingMixIn および SocketServer.ThreadingMixIn クラスのいずれかを使用する必要があります。詳細については、SocketServer モジュールのドキュメントを確認してください。

追加: 「ピアによる接続リセット」例外は、コードがデッド ソケットから読み取ろうとしたことを意味します。トレースバックを抑制したい場合は、BaseHTTPServer クラスを拡張し、handle_one_request メソッドをオーバーライドして、try ... except ブロックを追加する必要があります。いずれにせよ、一度に複数のリクエストを処理するという以前の提案を実装するには、新しいサーバー クラスが必要になります。

于 2011-05-21T04:51:49.380 に答える