c# - .net で httpwebrequest を使用しない Web データ スクレーパー

Question

.net には、IE コンポーネントを使用する .net クラスがいくつかあります。それらによって、htmldom を読み取り、ログインとデータ スクレイピングを行うことができます。親切にも、それが存在するクラス/アセンブリの名前を私に教えてください。

Answer 1

既存のWebページからデータを取得する場合は、HtmlAgilityPackを検討してください。

Answer 2

私はそれをすることができました。私のコードは次のようなものです

        object o = null;
        InternetExplorer ie = new InternetExplorerClass();
        IWebBrowserApp wb = ie;
        wb.Visible = chkShowBrowser.Checked;
        wb.Navigate("http://LoginPage.aspx", ref o, ref o, ref o, ref o);

        do
        {
            Thread.Sleep(10000);
        } while (wb.Busy);

        if (ie.Document != null)
        {
            var myDoc = ie.Document as HTMLDocument;

            if (myDoc != null)
            {
                var oUserName = (HTMLInputTextElement)myDoc.getElementById("ctl00_MainBodyPlaceholder_PublicPortalLogin_UserName");
                oUserName.value = ConfigurationManager.AppSettings.Get("userName");

                var oPassword =
                    (HTMLInputTextElement)
                    myDoc.getElementById("ctl00_MainBodyPlaceholder_PublicPortalLogin_Password");
                oPassword.value = ConfigurationManager.AppSettings.Get("password");

                var btnSubmitLogin =
                    (HTMLInputElement)myDoc.getElementById("ctl00_MainBodyPlaceholder_PublicPortalLogin_Login");
                btnSubmitLogin.click();

                do
                {
                    Thread.Sleep(10000);
                } while (wb.Busy);


                if (ie.Document != null)
                {
                    wb.Navigate("http://SearchPage.aspx", ref o, ref o, ref o, ref o);


                    do
                    {
                        Thread.Sleep(10000);
                    } while (wb.Busy);



                    if (ie.Document != null)
                    {

                        var oIncidentNumber =
                            (HTMLInputTextElement)
                            myDoc.getElementById("ctl00_MainBodyPlaceholder_txtIncidentNumber");
                        oIncidentNumber.value = ConfigurationManager.AppSettings.Get("incidentNumber");

                        var btnTicketNumberSearch =
                            (HTMLInputElement)myDoc.getElementById("ctl00_MainBodyPlaceholder_btnSearch");
                        btnTicketNumberSearch.click();

                        do
                        {
                            Thread.Sleep(10000);
                        } while (wb.Busy);

                        HTMLTable searchResultTable = myDoc.getElementById("ctl00_MainBodyPlaceholder_gdView_DXMainTable") as HTMLTable;



                        if (searchResultTable != null)
                        {
                            //foreach (var VARIABLE in searchResultTable.T)
                            //{

                            //}
                        }

                        if (chkRenderBody.Checked)
                        {
                            txtFinalTextBox.Text = myDoc.body.outerHTML;
                        }
                    }
                }
            }
        }