.net - フォーム認証ベースの https Web サイトのクロール

Question

こんにちは、HTML アジリティ パックを使用して保護されていない http Web サイトをクロールできます。しかし、https で保護されている一部の Web サイトでは、コンテンツを表示するために認証 (おそらくフォーム認証) が必要になるため、クロールできません。IBM の omnifind クローラー プラグを .net に使用できることを見ました。これを処理する方法についてヒントをください。

Answer 1

明らかに資格情報が必要になるため、認証ビットがどのように機能しているかを整理する必要があります。

フォームベースであると仮定すると、CookieContainer ( http://msdn.microsoft.com/en-us/library/dd920298(v=vs.95).aspx )で何かを実装するのに問題はないはずです。

そのリンクの下部にあるサンプルは、サイトから返された Cookie を反復処理する方法を示しています。

そして、これもあなたを導くのに役立つはずの既存の質問です: WebRequest class to post data to login form

乾杯。