4

Python 2.6.1 を使用して、Mac OS X 10.5 ボックスでcogenをテストしています。テストとして10,000のクライアント接続を作成する単純なエコーサーバーとクライアントパンパーがあります。1000、5000など、どれも立派に動いています。ただし、接続数が約 10,000 になると、サーバーはランダムなクライアントをドロップし始めます。クライアントには、「ピアによる接続のリセット」が表示されます。

ここで見逃している基本的なネットワークの背景知識はありますか?

私のシステムは、開いているファイルを処理するように構成されていることに注意してください (launchctl limit、sysctl (maxfiles など)、および ulimit -n はすべて有効です。そこにある場合は、それを行ってください)。また、cogen が隠れて kqueue を使用することを選択していることも確認しました。

client-connect() 呼び出しにわずかな遅延を追加すると、すべてがうまく機能します。したがって、私の質問は、短期間に高頻度の接続がある場合に、ストレス下にあるサーバーが他のクライアントをドロップするのはなぜですか? 他の誰かがこれに遭遇したことがありますか？

完全を期すために、ここに私のコードがあります。

サーバーは次のとおりです。

# echoserver.py

from cogen.core import sockets, schedulers, proactors
from cogen.core.coroutines import coroutine
import sys, socket

port = 1200

@coroutine
def server():
    srv = sockets.Socket()
    srv.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
    addr = ('0.0.0.0', port)
    srv.bind(addr)
    srv.listen(64)
    print "Listening on", addr
    while 1:
        conn, addr = yield srv.accept()
        m.add(handler, args=(conn, addr))

client_count = 0

@coroutine
def handler(sock, addr):
    global client_count
    client_count += 1
    print "SERVER: [connect] clients=%d" % client_count
    fh = sock.makefile()
    yield fh.write("WELCOME TO (modified) ECHO SERVER !\r\n")
    yield fh.flush()
    try:
        while 1:
            line = yield fh.readline(1024)
            #print `line`
            if line.strip() == 'exit':
                yield fh.write("GOOD BYE")
                yield fh.close()
                raise sockets.ConnectionClosed('goodbye')
            yield fh.write(line)
            yield fh.flush()
    except sockets.ConnectionClosed:
        pass
    fh.close()
    sock.close()
    client_count -= 1
    print "SERVER: [disconnect] clients=%d" % client_count

m = schedulers.Scheduler()
m.add(server)
m.run()

そして、ここにクライアントがあります：

# echoc.py

import sys, os, traceback, socket, time
from cogen.common import *
from cogen.core import sockets

port, conn_count = 1200, 10000
clients = 0

@coroutine
def client(num):
    sock = sockets.Socket()
    sock.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
    reader = None
    try:
        try:
            # remove this sleep and we start to see 
            # 'connection reset by peer' errors
            time.sleep(0.001)
            yield sock.connect(("127.0.0.1", port))
        except Exception:
            print 'Error in client # ', num
            traceback.print_exc()
            return
        global clients
        clients += 1
        print "CLIENT #=%d [connect] clients=%d" % (num,clients)
        reader = sock.makefile('r')
        while 1:
            line = yield reader.readline(1024)
    except sockets.ConnectionClosed:
        pass
    except:
        print "CLIENT #=%d got some other error" % num
    finally:
        if reader: reader.close()
        sock.close()
        clients -= 1
        print "CLIENT #=%d [disconnect] clients=%d" % (num,clients)

m = Scheduler()
for i in range(0, conn_count):
    m.add(client, args=(i,))
m.run()

情報をありがとう！

4

1 に答える 1

8

Python のソケット I/O は、ピアによる接続リセットの影響を受けることがあります。これは、Global Interpreter Lock と、スレッドのスケジュール方法に関係しています。このテーマに関するいくつかの参考文献をブログに書きました。

これtime.sleep(0.0001)は、スレッドのスケジューリングを調整し、ソケット I/O を完了できるため、推奨されるソリューションのようです。

于 2009-01-13T23:56:45.397 に答える