Python を使用して Web サイトからコンテンツをスクレイピングしています。最初はPython でBeautifulSoup
とを使用していましたが、Web サイトに JavaScript を介してコンテンツを作成するボタンがあることがわかったので、 を使用することにしました。Mechanize
Selenium
のようなメソッドを使用して Selenium を使用して要素を検索し、そのコンテンツを取得できることを考えると、すべてに Selenium を使用できる場合にdriver.find_element_by_xpath
使用する理由は何ですか?BeautifulSoup
そして、この特定のケースでは、Selenium を使用して JavaScript ボタンをクリックする必要があるため、解析にも Selenium を使用する方が良いですか、それとも Selenium と Beautiful Soup の両方を使用する必要がありますか?