javascript - Pythonを使用してjavascriptによって生成されたデータをスクレイピングする方法

Question

次のニュースの参加者数をかき集めたいです。URL はhttp://news.sina.com.cn/c/2013-07-11/175827642839.shtml です。番号 820 を取得したいです。JavaScript によって生成されます。簡単な方法でその番号を取得するにはどうすればよいですか?

Answer 1

JavaScript コードを分析して、Python で同じことを行うことができます。または、Python でSeleniumを使用できます。

編集：

ここでは、必要なことを行うために変更されたセレンページの例を示します。

ブラウザー (firefox) を開き、5 秒待って (ページをロードするため)、テキストを取得します。

#!/usr/bin/python

import selenium
from selenium import webdriver
from selenium.common.exceptions import NoSuchElementException
from selenium.webdriver.common.keys import Keys
import time

browser = webdriver.Firefox() # Get local session of firefox
browser.get("http://news.sina.com.cn/c/2013-07-11/175827642839.shtml ") # Load page
time.sleep(5) # Let the page load
try:
    element = browser.find_element_by_xpath("//span[contains(@class,'f_red')]") # get element on page
    print element.text # get element text
except NoSuchElementException:
    assert 0, "can't find f_red"
browser.close()