0

Seaprateスレッドで複数のHttpWebRequestsを実行していますが、呼び出した後、UIスレッドがほぼ常にブロックされており、そのStart()理由がわかりません。最も重要なコードは次のとおりです。

private void Start()
{
    for (int i = 0; i < 10; i++)
    {
        var todo = UrlStack.UrlPartitions.First();
        UrlStack.UrlPartitions.Remove(todo);
        ThreadPool.QueueUserWorkItem(new WaitCallback(ScanSites), todo);
    }
}
private void ScanSites(object o)
{
    var ToDo = (List<string>)o;
    foreach (string Url in ToDo)
    {
        var state = MakeRequest(Url);
        var website = WebsiteProcessing.ProcessResponse(state);
        if (website != null)
        {
            Websites.Add(website);
            WebsitesCount++;
            this.UIThread(() => lblCrawledWebsites.Text = WebsitesCount.ToString());
        }
    }
}
private static RequestState MakeRequest(string url)
{
    HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);
    ...
    RequestState state = new RequestState();
    HttpWebResponse response = null;
    Stream responseStream = null;
    StreamReader sr = null;

    try
    {
        response = (HttpWebResponse)request.GetResponse();
        responseStream = response.GetResponseStream();
        sr = new StreamReader(responseStream);
        state.Request = (HttpWebRequest)request;
        state.Response = (HttpWebResponse)response;
        string strContent = sr.ReadToEnd();
        state.ResponseContent = new StringBuilder(strContent);
    }
    catch
    {
        return null;
    }

    finally
    {
        if (responseStream != null)
            responseStream.Close();
        if (sr != null)
            sr.Close();
        if (response != null)
            response.Close();
    }

    return state;
}
4

2 に答える 2

0

私は非常に驚いた欠点を見つけました。これは、HtmlAgilityPack でテキストをプルした後に残りの HTML を削除するために使用される 20 ~ 30 の正規表現を含むカスタム クラスでした。

于 2012-08-13T12:33:12.660 に答える
0

おそらくこの電話のせいでしょうか?

this.UIThread(() => lblCrawledWebsites.Text = WebsitesCount.ToString()); 

UIThread の定義を提供していませんが、UI スレッドへの呼び出しをマーシャリングしているようです。この場合、ToDo リストに多数の URL があると、UI スレッドが詰まる可能性があります。

于 2012-08-13T16:47:06.747 に答える