http://yahoo.com/というリンクがある場合、yahoo 内でリンクを取得できますか? たとえば、私はウェブサイトhttp://umair.com/を持っていて、 Home、About、Portfolio、FAQ、Contact の 5 ページしかないことを知っているので、次のようなリンクをプログラムで取得できますか?
http://umair.com/index.html
http://umair.com/about.html
http://umair.com/portfolio.html
http://umair.com/faq.html
http://umair.com/contact.html
「yahoo 内のリンク」の意味を定義してください。
「 http://www.yahoo.com 」によって返されるページにリンクがあるすべてのページを意味しますか? <a>その場合、HTTP GET 要求によって返された HTML を読み取り、それを解析して要素を探すことができます。「HTML Agility Pack」を使用してヘルプを得ることができます。
「そのドメインのサーバー上のすべてのページ」という意味であれば、おそらくそうではありません。ほとんどの Web サイトでは、明示的に要求しない場合に表示される既定のページが定義されています。(たとえば、http://umair.comをリクエストすると、ほぼ確実にhttp://umair.com/index.htmlが返されます)。 デフォルトを定義していない Web サイトはほとんどなく、ファイルのリストを返します。
「そのドメインのサーバー上のすべてのページで、デフォルト ページが定義されている場合でも」という意味であれば、それはできません。重大なセキュリティ違反になります。
これは Web Crawler で実行できます。基本的な情報を読んでください。
http://en.wikipedia.org/wiki/Web_crawler
オープンソースのクローラーが含まれています。探しているものがあるかどうかを確認してください。