0

友人から、特定の Web サイトからポケモンのデータを収集するための Web スクレイピング スクリプトを作成できるかどうか尋ねられました。

JavaScript をレンダリングし、特定のクラスを取得して Web サイト ( https://www.smogon.com/dex/ss/pokemon/ )からデータを収集する次のコードを作成しました。

問題は、ページを下にスクロールすると、ページがより多くのエントリをロードすることです。これからスクレイピングする方法はありますか?私はWebスクレイピングが初めてなので、これがどのように機能するのか完全にはわかりません。

from requests_html import HTMLSession

def getPokemon(link):
    session = HTMLSession()
    r = session.get(link)
    r.html.render()
    for pokemon in r.html.find("div.PokemonAltRow"):
        print(pokemon)
    quit()

getPokemon('https://www.smogon.com/dex/ss/pokemon/')
4

1 に答える 1