c# - プロキシと htmlagilitypack の問題

Question

プロキシ経由で htmlagilitypack を使用しようとしましたが、予期しない動作が発生することがわかりました。

プロキシ経由で Web ページをスクレイピングできるように、資格情報を htmlagilitypack に追加するにはどうすればよいですか?

Answer 1

これが私が通常行うことです：

HttpWebRequest request = (HttpWebRequest) HttpWebRequest.Create(url);
...
HttpWebResponse response = (HttpWebResponse) request.GetResponse();

using (var reader = new StreamReader(response.GetResponseStream(), Encoding.UTF8)) {
    var doc = new HtmlDocument();
    doc.Load(reader.BaseStream);

    //Use (or return) the HtmlDocument 'doc' here.
}

このコードを、URL を指定してオブジェクトを返すメソッドにカプセル化できます。HtmlDocument

Answer 2

ここにすでに回答済みの同様の質問があります ここにリンクの説明を入力してください

コードで以下のように使用します。

HtmlWeb web = new HtmlWeb();
web.UserAgent = "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.2) Gecko/20100115 Firefox/3.6";
var doc = web.Load(string url, string proxyHost, int proxyPort, string yourUserId, string yourPassword);