c# - Web サイトから情報を読み取る C#

Question

私が念頭に置いているプロジェクトでは、Web サイトを見て、その Web サイトからテキストを取得し、後でその情報を使用して何かを実行できるようにしたいと考えています。

私の質問は、ウェブサイトからデータ (テキスト) を取得する最良の方法は何ですか。静的ページを処理する場合と動的ページを処理する場合のこれを行う方法がわかりません。

いくつかの検索から、私はこれを見つけました：

        WebRequest request = WebRequest.Create("anysite.com");
        // If required by the server, set the credentials.
        request.Credentials = CredentialCache.DefaultCredentials;
        // Get the response.
        HttpWebResponse response = (HttpWebResponse)request.GetResponse();
        // Display the status.
        Console.WriteLine(response.StatusDescription);
        Console.WriteLine();

        // Get the stream containing content returned by the server.
        using (Stream dataStream = response.GetResponseStream())
        {
            // Open the stream using a StreamReader for easy access.
            StreamReader reader = new StreamReader(dataStream, Encoding.UTF8);
            // Read the content. 
            string responseString = reader.ReadToEnd();
            // Display the content.
            Console.WriteLine(responseString);
            reader.Close();
        }

        response.Close();            

したがって、これを自分で実行すると、探しているものではなく、Web サイトから HTML コードが返されることがわかります。最終的には、サイト (ニュース記事など) に入力して、記事の内容を返すことができるようにしたいと考えています。これは c# または Java で可能ですか?

ありがとう