javascript - Google Chrome の要素検査機能を使用して Web サイトをスクレイピングする

Question

Web サイトをスクレイピングしようとしています。Python の「urllib2.urlopen」または R の「 htmlTreeParse」による従来の HTML 解析では、Web ページからデータを取得できません。これはサーバーによって意図的に行われるため、ソースの表示には表示されたデータが表示されませんが、Google Chrome で要素の検査機能を使用すると (Google Chrome で Web サイトを右クリックして)、データを表示できます。 （アイテムとその情報のリスト）。私の質問は、目的のページをプログラムで起動し、各ページの検査要素を保存する方法です。または、これらのリンクを起動し、何らかの形で Control-S を使用して各リンクの HTML コピーをローカル ディスクに保存するプログラムを作成できる場合。

Answer 1

ブラウザー機能を自動化するために、 Seleniumを調べてみます。ID/名前による検索を自動化し、それが存在するかどうかを確認するか、自動化された方法で必要に応じて HTML を解析することができます。