worldometer.com から COVID-19 に関するデータをスクレイピングしたいと思っていました。しかし、selenium と BeautifulSoup は最新のタグを 7 つしか見つけられません。これはコードです:
from selenium import webdriver
driver=webdriver.Firefox()
driver.get('https://www.worldometers.info/coronavirus/country/india/')
rise = driver.find_elements_by_class_name("news_li")
num_days = len(rise) print(len(rise)) print for i in range(num_days):
print(rise[i].text)
これはbeautifulsoupのコードです:
from bs4 import BeautifulSoup from urllib.request import Request,
urlopen url="https://www.worldometers.info/coronavirus/country/india/"
req = Request(url, headers={'User-Agent': 'Mozilla/5.0'})
web_byte = urlopen(req).read()
webpage = web_byte.decode('utf-8')
bsobj=BeautifulSoup(webpage, 'html.parser') for k in
bsobj.findAll("li",{"class":"news_li"}):
print(k.find("strong").next_sibling.next_sibling.get_text())
for b in bsobj.findAll("button",{"class":"btn btn-light date-btn"}):
print(b['data-date'])
これはセレンの出力です:
インドでは7 1,125の新しい症例と12の新しい死亡[ソース]
美しいスープの出力は次のとおりです。
2,006 人の新規死亡者 395 人の新規死亡者 321 人の新規死亡者 309 人の新規死亡者 389 人の新規死亡者