<li class="classToGet">下にスクロールすると AJAX が読み込まれる 200 以上の要素を含む Web ページをスクレイピングしようとしています。サイトのソースを読むとurllib2.urlopen(url).read()、最初の 100 秒しか取得できません<li>。
ブラウザで JavaScript をオフにしてページに移動すると、200 以上<li>の s がすべて表示されます。ページをロードするときに urllib2 の JavaScript を無効にするにはどうすればよいですか?
助けてくれてありがとう。