私はウェブサイトを解析しようとしています。唯一の問題は、解析したくないサイトへの特定の URL をサイトが使用していないことです。同じウェブページで JavaScript を使用してサイトにコンテンツを表示しているため、検索クエリによってコンテンツが異なります。
ドロップダウン メニューから値を選択してサーバーに送信し、C# で HTML コードを解析することはできますか?
明確化: コードは HTML で返されます。ドロップダウンから投稿したいオプションの名前を知っていますが、コード ビハインドからそれを行うにはどうすればよいですか?
あなたは間違いなく Selenium をチェックアウトする必要があります。それはあなたが必要とすることを正確に行います。これは、テスト フレームワークとして一般的に使用されます。ただし、Web サイトで JavaScript が使用されている場合でも、HTML タグを操作するために使用できます。
注: Selenium では、FireFox、Chrome、IE などのブラウザーを使用して Web サイトを開いて操作することができます。ただし、ここで必要なのは、ブラウザーを開かずに Web サイトを操作する WebDriver を使用することだと思います。Selenium を使用した経験のほとんどは Java を使用したものですが、.net についてもオンラインで複数のチュートリアルを見つけました。
ほとんどのサイトは実際には Javascript で HTML を生成しません。ポストバックに Javascript が使用されている Asp.Net サイトをよく見かけます (ドロップダウンの名前は __EVENTTARGET フィールドにポストバックされます)。
次に、アプリケーションで同じことを行うことができます - フォームへの入力を模倣する必要があります - VIEWSTATE と EVENTTARGET を含むすべてのフィールドをサーバーに渡します。
そうは言っても、サイトの利用規約に反する可能性があります。