まず、次のページの URL を取得する必要があります。次に、urllib2 を使用して次のページを開くことができます。
URL に明確なパターンが存在する場合は、URL を取得するために手動で作成できます。
または、next
タグを読み取ってコンテンツを読み取ることができます。
# the advantage of using `Next` is it is web text based which is more reliable.
import urllib
from bs4 import BeautifulSoup
import re
url = 'http://www.freesoft4down.com/Windows/System-Utilities/Clipboard-Tools/Page-1-0-0-0-0.html'
pageurl = urllib.urlopen(url)
soup = BeautifulSoup(pageurl)
print soup.find('ul',{'class':'div_pages'}).find(text=re.compile("Next")).find_parent('a')['href']
出力は次のようになります。
http://www.freesoft4down.com/Windows/System-Utilities/Clipboard-Tools/Page-2-0-0-0-0.html
これで、次のページへのリンクができました。次のページ、次のページを取得したい場合は、このプロセスを繰り返すだけです。
これがあなたの質問に答えているかどうか教えてください。