vba - 抽出しているデータがブラウザの「ソース表示」と異なる場合、Web サイトからソース コードを抽出するにはどうすればよいですか?

Question

クラウドファンディングの音楽ベースのウェブサイトからデータをスクレイピングしています。研究目的のため。具体的には、Web サイトで「ロック」ジャンルのプロジェクトのデータを取得しようとしていますが、Web クローラーを使用してソース コードを取得すると、ブラウザーで「ソースを表示」した場合に表示されるデータとは異なります。 Web サイトを分析すると、必要なデータがどこにも見つかりません。

Web サイトを調べて、データのソースを特定しようとしましたが、成功しませんでした。これはウェブサイトをスクレイピングする際によくある問題ですか?

私が使用している Web クローラーは VBA で記述されており、他の Web サイトからデータをスクレイピングするために既に使用されていますが、このようなものに遭遇するのはこれが初めてです。

Answer 1

アクセスしようとしているデータは、そのページの JavaScript から生成されたものである必要があるため、ビュー ソースに表示されません。カウンターチェックを行うには、クロムで「検査」を実行してからソースを表示できます。同じページのデータを比較すると、JavaScript によって生成されたデータは検査ウィンドウには表示されますが、ソースの表示には表示されません。