php - Web スクレイパーを使用して動的に生成された JavaScript データを取得するにはどうすればよいですか

Question

ほとんどの Web ページのデータは、HTML をダウンロードして目的のコンテンツを解析するだけでスクレイピングできます。ただし、一部の Web ページでは、ページの読み込み後に JavaScript を使用してコンテンツを動的に読み込むため、元の HTML に必要なデータが見つかりません。

Web スクレイパーを使用して動的に生成された JavaScript データを取得する方法を教えてください。

Answer 1

Firefox用のWebDeveloperアドオンを使用できます。ページの読み込みが完了したら、[ソースの表示]-> [生成されたソースの表示]を選択すると、新しいウィンドウにHTML形式の連絡先が表示されます。その後、現在使用しているパーサーを続行できます。