ニュースのカテゴリが異なるいくつかの長いファイル (>500Kb) を含む Web サーバーがあります。各カテゴリの最新ニュース、ファイルの最初の行 (通常は 1Kb 未満ですが、それ以上になることもあります) を取得し、ダウンロードをすばやく行うだけで済みます。接続が遅いため、私の考えは、1 行ずつ読んで、最小量のデータ。現時点では、以下のコードを実行していますが、時間がかかるため、完全なファイルをダウンロードしてもあまり改善されないようです。
foreach(var newsType in newsTypes)
{
var request = WebRequest.Create("http://www.xxxx.com/" + newsType) as HttpWebRequest;
request.Timeout = 5000;
using (var response = request.GetResponse() as HttpWebResponse)
{
using (var reader = new StreamReader(response.GetResponseStream()))
{
while (!reader.EndOfStream)
{
var fileRowCSV = reader.ReadLine();
...
if (old-news) break;
...
}
}
}
すべてのファイルが転送されないように変更する必要がある設定はありますか? 他のファイルを読み取ることができる何らかの方法で 1 つの接続を再利用できますか? プロセスを改善する方法についてのアイデアはありますか?
ありがとう