プロキシを使用して Java でページ ソースを取得しようとしています。
私はhttpclient、httpunit、およびHttpURLConnectionを使用しました。プロキシなしでページソースに行くと、これらすべてに5秒かかりますが、プロキシを使用すると、単一のページに12〜15秒かかります。
速度を上げる方法や、高速なページ ソースを提供する別のクラスはありますか。
プロキシを使用して Java でページ ソースを取得しようとしています。
私はhttpclient、httpunit、およびHttpURLConnectionを使用しました。プロキシなしでページソースに行くと、これらすべてに5秒かかりますが、プロキシを使用すると、単一のページに12〜15秒かかります。
速度を上げる方法や、高速なページ ソースを提供する別のクラスはありますか。
問題がどこにあるのかを最初に特定する必要があります。ページをプルしているサーバーが非常に遅いのですか、それとも使用しているプロキシが非常に遅いのですか (またはその両方)? コマンドラインでwget(またはおそらくcurl)などを使用すると、ページのダウンロード時間に関する統計が表示されます-プロキシを介して、プロキシをバイパスします。それらの時間がコードが示すものと同じである場合、最適化できるものは何もありません。ただし、矛盾が見られる場合は、コードでページをプルする他の方法を使用して調べることができます。一般的な経験則として: