1

後でアクセスして、Cookie が設定されている場所を見つけて記録できるように、すべてのリンクの Web ページをスクレイピングする必要があります。これは、ユーザーが設定された Cookie を使用することを要求する新しい英国の法律のためのものです。時間を節約するために、このプロセスの一部を自動化することにしました。

私の問題は、私の会社のサイトがページとコンテンツをレンダリングするために多くの JavaScript を使用していることです。つまり、ページを取得すると (現時点では HTML アジリティ パックを使用して)、ページには主に多くの JavaScript が含まれており、多くの完全にレンダリングされたときに表示されるリンク。これを1つのドメインでaspアプリケーションとしてホストし、URLを渡して、サイトページのすべてのリンクをスクレイピングしてアクセスします。

ページがレンダリングされ、すべてのリンクを取得できるように、javascript を実行する方法はありますか?

4

2 に答える 2

2

Web ブラウザー コントロールを使用して Windows フォームを作成できます。URL を設定し、ページが読み込まれたときのコールバック イベントを設定できます。JavaScriptを含むページをレンダリングし、DOMにアクセスできます（WebBrowser.Documentを介して考えます）。

于 2012-04-10T17:14:20.220 に答える
0

私はあなたの問題を理解していません。それがあなたの会社のウェブサイトである場合、ページをスクレイピングする必要はありません。あなたはすでにコードを持っています。コードベースを見て、Cookie が作成されているかどうか、内部に何が保存されているかを確認してください。

于 2012-04-10T17:02:56.893 に答える