0

私の目的:特定のサイトに存在するすべてのリンクを取得したいと考えています。

私の問題:サイトが開いてしばらくしても追加のコンテンツが表示されない場合、以下の方法で問題なく動作します。

import lxml.html, urllib
connection = urllib.urlopen('http://www.youtube-mp3.org/?c#v=l8F4vdF-bJc')
dom =  lxml.html.fromstring(connection.read())
for link in dom.xpath('//a/@href'):
   print(link)

残念ながら、上記のコードは、一定期間後に表示されるサイトのコンテンツからリンクを取得できません。(たとえば、このサイト: http://www.youtube-mp3.org/get?video_id=KMU0tzLwhbE は、変換が完了した後にファイルへのリンクを提供し、上記の方法ではこのリンクをキャッチできません)

私の質問:一定期間後にサイトに表示される Python のリンクを取得するにはどうすればよいですか?

4

0 に答える 0