c# - robots.txt ファイルからサイトマップの URL テキストを読み取る方法

Question

C# アプリケーションからのサイトマップ URL を含む robots.txt ファイル (www.abcd.com/robots.txt) のテキストを読みたいです。サイトマップの URL が robots.txt ファイルに存在する場合にアラートを生成するために if else を使用する必要があり、「はい」と表示され、サイトマップの URL が含まれていない場合は「いいえ」と表示されます。

robots.txt ファイルのテキストは次のようになります。

# Crawlers Setup
User-agent: *
Disallow:
Crawl-delay: 10

# Website Sitemap
Sitemap: http://www.abcd.com/sitemap.xml

robots.txt は実際にはテキスト ファイルではなくリンクであるため、robots.txt ファイルからこのサイトマップ テキストを読み取るにはどうすればよいですか。www.abcd.com/robots.txt です

Answer 1

次のように、ファイルを読み取るだけです。

string contentOfRobotTxt= new WebClient().DownloadString("http://www.abcd.com/robots.txt");