0

「www.localbanya.com」という名前の Web サイトが 1 つあります。そのサイトから HTML 情報を取得したかったのですが、製品がリストされており、表示の構造は次のとおりです。

  1. まず、ページ読み込み時に約 8 ～ 10 個の製品を表示します。
  2. 後でユーザーが下にスクロールすると、さらに製品が生成されます。

これは JavaScript に基づいて発生しているため、WebClient を使用してページ ソース全体を取得できません。

.net で WebClient クラスを使用してページ全体の情報を取得するときにページ ソースを更新する方法、またはページ全体の HTML 情報を一度に取得するために使用できるその他の方法があることを知りたいと思いました。

localbanyaの商品ページはこちらを参考にしてください

どんな助けでも大歓迎です。

4

1 に答える 1

0

WebClient は明らかに JavaScript を実行しません。

そのためには、ある種のヘッドレス ブラウザが必要になります。

C# や .NET の実装については知りませんが、多くのオプションがあります。

Phantom JSや、通常のブラウザーの動作を再現する他のヘッドレス ブラウザーを調べて、そのためのスクリプトを作成することができます。

この質問も参照してください C# (.NET) のヘッドレス ブラウザ?

また、 Fiddlerなどを実行して、下にスクロールしたときにページからどのような要求が行われたかを確認し、データの取得方法をリバース エンジニアリングし、可能でWebClientあればそれを複製することもできます。

お役に立てれば。

于 2014-03-07T10:39:14.960 に答える