2

複数のスレッドで Web リクエストを作成しようとしていますが、2 つ以上のスレッドで試行するとエラーが発生します

Index was outside the bonds of the array

この行で：

string username = ScrapeBox1.Lines[NamesCounter].ToString();

コードは次のとおりです。

while (working)
{
    while (usernamescount > NamesCounter)
    {
        string username = ScrapeBox1.Lines[NamesCounter].ToString();
        string url = "http://www.someforum.com/members/" + username + ".html";
        var request = (HttpWebRequest)(WebRequest.Create(url));
        var response = request.GetResponse();
        request.UserAgent = "Mozilla/5.0 (Windows NT 6.1; rv:16.0) Gecko/20100101 Firefox/16.0";

        using (var responseStream = response.GetResponseStream())
        {
            using (var responseStreamReader = new StreamReader(responseStream))
            {

                var serverResponse = responseStreamReader.ReadToEnd();
                int startpoint = serverResponse.IndexOf("Contact Info</span>");
                try
                {
                    string strippedResponse = serverResponse.Remove(0, startpoint);
                    ExtractEmails(strippedResponse);

                }
                catch { }


            }
        }
        NamesCounter++;
        textBox1.Text = NamesCounter.ToString();
    }

}
4

1 に答える 1

2

このコードはスレッドセーフではありません。

HttpWebRequest を実行するためのコードは、アトミックであり、コレクションをループするコンテキストの外にある必要があります。

例えば

public void MakeHttpWebRequest(string userName)
{
    string url = "http://www.someforum.com/members/" + userName + ".html";
    var request = (HttpWebRequest)(WebRequest.Create(url));
    var response = request.GetResponse();
    request.UserAgent = "Mozilla/5.0 (Windows NT 6.1; rv:16.0) Gecko/20100101 Firefox/16.0";

    using (var responseStream = response.GetResponseStream())
    {
        using (var responseStreamReader = new StreamReader(responseStream))
        {

            var serverResponse = responseStreamReader.ReadToEnd();
            int startpoint = serverResponse.IndexOf("Contact Info</span>");
            try
            {
                string strippedResponse = serverResponse.Remove(0, startpoint);
                ExtractEmails(strippedResponse);

            }
            catch { }


        }
    }
}

ScrapeBox.Lines が IEnumerable を実装すると仮定すると、Parallel.ForEachを使用し、ScrapeBox.Lines を繰り返し処理する IEnumerable として渡すことをお勧めします。

ここで、もう 1 つの問題があります。HttpWebRequest からの応答を読み取るためのコードは、その出力を共有の場所に書き込む必要があります。スレッドセーフな方法でそれを達成するため。これを行う一般的な方法は、セマフォを使用することです。各スレッド インスタンスにアクセスできるオブジェクトが必要です。クラス レベルのプライベート変数private object sharedMutex = new object();が機能します。次に、コードを次のExtractEmails(strippedResponse);ように変更する必要があります lock(sharedMutex) { ExtractEmails(strippedResponse); }

メソッドのコードがなければExtractEmails(<string>)、スレッドセーフな実装を提供することはできません。そのため、ソリューションのその部分が依然として問題を引き起こす可能性があります。

于 2012-11-05T00:58:39.027 に答える