グーグルをできるだけ早くスクレイピングしたい。ブラウザ内の Google は、読み込み結果が と に分かれて段階的に読み込まれWaiting(TTFB)ますContent Downlaod。
私はpython requestsグーグルをスクレイピングするために使用しています。のタイミングrequestsはWaiting(TTFB)ほんの少しContent Download。
コードは次のとおりです。
google_url = 'https://www.google.com/search?q={}&num={}&start={}'.\
format(escaped_search_term, size, offset)
response = self.session.get(google_url, verify=False,
headers={'User-Agent': self.USER_AGENT})
return response.text
結果をできるだけ早くロードしたいので、ブラウザのようにGoogleの結果を徐々にダウンロードする必要があります。これどうやってするの？