友人から、特定の Web サイトからポケモンのデータを収集するための Web スクレイピング スクリプトを作成できるかどうか尋ねられました。
JavaScript をレンダリングし、特定のクラスを取得して Web サイト ( https://www.smogon.com/dex/ss/pokemon/ )からデータを収集する次のコードを作成しました。
問題は、ページを下にスクロールすると、ページがより多くのエントリをロードすることです。これからスクレイピングする方法はありますか?私はWebスクレイピングが初めてなので、これがどのように機能するのか完全にはわかりません。
from requests_html import HTMLSession
def getPokemon(link):
session = HTMLSession()
r = session.get(link)
r.html.render()
for pokemon in r.html.find("div.PokemonAltRow"):
print(pokemon)
quit()
getPokemon('https://www.smogon.com/dex/ss/pokemon/')