python - この Web サイトをスクレイピングするには、どの Python ライブラリを学習する必要がありますか?

Question

以下のサイトからSunday Crosswordsを全部ダウンロードしたいです。

http://epaper.timesofindia.com/Default/Client.asp?skin=pastissues2&enter=LowLevel

「Sunday Crossword」を手動で検索して、必要な結果をすべて取得できます。ただし、結果はすべて JavaScript のポップアップ ウィンドウで開きます。

http://epaper.timesofindia.com/Default/Scripting/SearchView.asp?skin=pastissues2&AppName=2&sPublication=TOIM&y=11&Content=ALL&sQuery=SUNDAY+CROSSWORD&sScope=P&x=13&ContentType=on&sSorting=IssueDateID%2Casc&sLanguage=en&Offset=1

このような問題を処理するには、どの python ライブラリを学習/使用する必要がありますか?

私はurllibの基本を知っています。それはこの特定の目的に使用できますか？

私は比較的新しいプログラマーで、Web テクノロジーをあまり理解していません。したがって、どのリソースを読むべきかについてのアドバイスは役に立ちます。

Answer 1

Selenium は素晴らしいツールです。実際のブラウザーを駆動するため、JavaScript ポップアップを処理できます。

ドキュメントへのリンクは次のとおりです。https://selenium-python.readthedocs.org/en/latest/getting-started.html

およびいくつかのビデオ チュートリアル:

http://pyvideo.org/search?models=videos.video&q=selenium