HttpURLConnection から InputStream を開こうとすると、一部のサーバーからランダムに予期しない結果が得られます。これらのサーバーは接続を受け入れ、ソケットを開いたままにするがデータをストリームに送り返すことを許可しない「stay-alive」ヘッダーで応答するようです。
そのシナリオは、マルチスレッドクローラーの試みを少し「複雑」にします。接続がスタックすると、それを実行しているスレッドが返されないためです...一部のスレッドがまだ働いている。
接続応答ヘッダーを読み取って、その「生きている」答えを特定し、ストリームを開こうとするのを避ける方法はありますか??