2

プロキシサーバーの大きなリスト（txtファイル、各行にFormat = ip：port）があり、それらをチェックするために以下のコードを記述しました。 

    public static void MyChecker()
    {
        string[] lines = File.ReadAllLines(txtProxyListPath.Text);
        List<string> list_lines = new List<string>(lines);
        List<string> list_lines_RemovedDup = new List<string>();
        HashSet<string> HS = new HashSet<string>();
        int Duplicate_Count = 0;
        int badProxy = 0;
        int CheckedCount = 0;

        foreach (string line in list_lines)
        {
            string[] line_char = line.Split(':');
            string ip = line_char[0];
            string port = line_char[1];
            if (CanPing(ip))
            {
                if (SoketConnect(ip, port))
                {
                    if (CheckProxy(ip, port))
                    {
                        string ipAndport = ip + ":" + port;
                        if (HS.Add(ipAndport))
                        {
                            list_lines_RemovedDup.Add(ipAndport);
                            CheckedCount++;
                        }
                        else
                        {
                            Duplicate_Count++;
                            CheckedCount++;
                        }
                    }
                    else
                    {
                        badProxy++;
                        CheckedCount++;
                    }
                }
                else
                {
                    badProxy++;
                    CheckedCount++;
                }
            }
            else
            {
                badProxy++;
                CheckedCount++;
            }
    }

    public static bool CanPing(string ip)
    {
        Ping ping = new Ping();

        try
        {
            PingReply reply = ping.Send(ip, 2000);
            if (reply == null)
                return false;

            return (reply.Status == IPStatus.Success);
        }
        catch (PingException Ex)
        {
            return false;
        }
    }

    public static bool SoketConnect(string ip, string port)
    {
        var is_success = false;
        try
        {
            var connsock = new Socket(AddressFamily.InterNetwork, SocketType.Stream, ProtocolType.Tcp);
            connsock.SetSocketOption(SocketOptionLevel.Socket, SocketOptionName.SendTimeout, 200);
            System.Threading.Thread.Sleep(500);
            var hip = IPAddress.Parse(ip);
            var ipep = new IPEndPoint(hip, int.Parse(port));
            connsock.Connect(ipep);
            if (connsock.Connected)
            {
                is_success = true;
            }
            connsock.Close();
        }
        catch (Exception)
        {
            is_success = false;
        }
        return is_success;
    }

    public static bool CheckProxy(string ip, string port)
    {
        try
        {
            WebClient WC = new WebClient();
            WC.Proxy = new WebProxy(ip, int.Parse(port));
            WC.DownloadString("http://SpecificWebSite.com");
            return true;
        }
        catch (Exception)
        {
            return false;
        }
    }

しかし、これらのコードは非常に遅いので、書き直すべきだと思います。
私はこれらの行に悪い遅延があります：
WC.DownloadString("http://SpecificWebSite.com");
そして
PingReply reply = ping.Send(ip, 2000);
これは大きなリストには良くありません。
これらのコードを正しい方向に記述しましたか、それとも変更する必要がありますか（どの部分）？
どうすればそれらを最適化できますか？

前もって感謝します

4

2 に答える 2

6

改善できることがたくさんあります。

  • スレッドを0.5秒間スリープさせないでください。
  • pingチェックを削除します（プロキシがファイアウォールの背後にあり、pingに応答しない可能性があるが、まだ機能している可能性があるため）
  • DownloadStringを、HEADのみを取得するHttpWebRequestに置き換えます。
  • HttpWebRequestのタイムアウトをデフォルトよりも低い値に設定します（それほど長く待つ必要はありません。プロキシが10〜20秒以内に応答しない場合は、おそらくそれを使用したくないでしょう）。
  • 大きなリストを小さなリストに分割し、同時に処理します。

これらだけで、プロセスがかなりスピードアップするはずです。

リクエストに応じて、HttpWebRequestsの使用方法の例を次に示します。

HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);
request.Proxy = null;   // set proxy here
request.Timeout = 10000; 
request.Method = "HEAD";

using (HttpWebResponse response = (HttpWebResponse)request.GetResponse())
{
    Console.WriteLine(response.StatusCode);
}
于 2012-09-03T14:31:54.603 に答える
1

私はこのようなことをするかもしれません：

public static bool TestProxy(string ipAddress, int port, out string errorMsg, out double connectionSeconds) {
  Stopwatch stopWatch = new Stopwatch();
  errorMsg = "";
  connectionSeconds = -1;

  try {
    stopWatch.Start();
    var client = new RestClient("https://webapi.theproxisright.com/");
    client.Proxy = new WebProxy(ipAddress, port);

    var request = new RestRequest("api/ip", Method.GET);
    request.Timeout = 10000;
    request.RequestFormat = DataFormat.Json;

    var response = client.Execute(request);
    if (response.ErrorException != null) {
      throw response.ErrorException;
    }
    return (response.Content == ipAddress);
  } catch (Exception ex) {
    errorMsg = ex.Message;
    return false;
  } finally {
    stopWatch.Stop();
    connectionSeconds = stopWatch.Elapsed.TotalSeconds;
  }
}

WhatIsMyIPのようなRESTサービスを使用します（https://TheProxIsRight.comのサービスを使用します）。

次に、上記のように、次のようなものと並列化してみます。

  Task.Factory.StartNew(() => {
    try {
      string errorMsg;
      double connectionTime;
      var success = TestProxy("1.2.3.4",3128, out errorMsg, out connectionTime);

      //Log Result
    } catch (Exception ex) {
      //Log Error
    }
  });

上記のサイトのRESTAPIを使用して、動作中のプロキシをクエリすることもできます： https ://theproxisright.com/#apidemo

（開示、私は上記のサイトで作業しました）

于 2014-05-09T07:18:09.463 に答える