これは、深刻な状況でのスケーリングに関する興味深い質問です。
あなたは基本的に、「N が >= 250,000 であるインターネット サービスへの N 接続を確立するにはどうすればよいか」と尋ねています。
これを効果的かつ効率的に行う唯一の方法は、クラスター化することです。単一のホストでこれを行うことはできないため、クライアント ベースを断片化し、いくつかの異なるサーバーに分割して、それぞれがサブセットのみを処理できるようにする必要があります。
サーバー間の通信を最小限に抑えることで、ホストしているサービスを実行可能にするのに十分な接続を保持しながら、単一のサーバーが可能な限り少ない接続を保持する (接続を均等に分散させる) という考えです。これは、関連する 2 つの接続 (互いに頻繁にやり取りする 2 つのアカウントなど) が同じホスト上にある必要があることを意味します。
これを処理できるサーバーとネットワーク インフラストラクチャが必要になります。IP アドレスのサブネットが必要です。各サーバーはインターネットとステートレス通信を行う必要があります (つまり、ルーターは 250,000 以上の接続を追跡する必要がないため、NAT を実行しません)。
AOL に相談する必要があります。接続を切断することを考慮せずに、AOL がこのレベルの接続を処理できる方法はありません。この規模のサービスは、AOL と交渉して、あなたと AOL の両方が接続を処理できるようにする必要があります。
調査すべき I/O 多重化テクノロジがあります。Kqueue と epoll が思い浮かびます。
この大規模な同時並行のテレコ グレードのソリューションを作成するには、erlang を調査することをお勧めします。Erlang は、このような状況 (マルチサーバー、大規模マルチクライアント、大規模マルチスレッド通信グレードのソフトウェア) 向けに設計されています。現在、エリクソンの電話交換を実行するために使用されています。