python - 結果をループして URL を収集する

Question

HTMLの結果を解析し、いくつかのURLを取得してから、それらのURLにアクセスした出力を解析しようとしています。

私はdjango 1.5 /python 2.7を使用しています:

ビュー.py

    #mechanize/beautifulsoup config options here.
     beautifulSoupObj = BeautifulSoup(mechanizeBrowser.response().read()) #read the raw response
     getFirstPageLinks = beautifulSoupObj.find_all('cite') #get first page of urls

url_data = UrlData(NumberOfUrlsFound, getDomainLinksFromGoogle)
    #url_data = UrlData(5, 'myapp.com')
    #return HttpResponse(MaxUrlsToGather)

    print url_data.url_list()

    return render(request, 'myapp/scan/process_scan.html', {
        'url_data':url_data,'EnteredDomain':EnteredDomain,'getDomainLinksFromGoogle':getDomainLinksFromGoogle,
        'NumberOfUrlsFound':NumberOfUrlsFound,
        'getFirstPageLinks' : getFirstPageLinks,
    })

urldata.py

class UrlData(object):

def __init__(self, num_of_urls, url_pattern):
    self.num_of_urls = num_of_urls
    self.url_pattern = url_pattern


def url_list(self):
    # Returns a list of strings that represent the urls you want based on num_of_urls
    # e.g. asite.com/?search?start=10
    urls = []
    for i in xrange(self.num_of_urls):
        urls.append(self.url_pattern + '&start=' + str((i + 1) * 10) + ',')
    return urls

テンプレート：

{{ getFirstPageLinks }}
    {% if url_data.num_of_urls > 0 %} 
        {% for url in url_data.url_list %}
            {{ url }}
        {% endfor %}
    {% endif %}

これは以下を出力します:

[<cite>www.google.com/webmasters/</cite>, <cite>www.domain.com</cite>, <cite>www.domain.comblog/</cite>, <cite>www.domain.comblog/projects/</cite>, <cite>www.domain.comblog/category/internet/</cite>, <cite>www.domain.comblog/category/goals/</cite>, <cite>www.domain.comblog/category/uncategorized/</cite>, <cite>www.domain.comblog/twit/2013/01/</cite>, <cite>www.domain.comblog/category/dog-2/</cite>, <cite>www.domain.comblog/category/goals/personal/</cite>, <cite>www.domain.comblog/category/internet/tech/</cite>] 

これは次によって生成されます。getFirstPageLinks

と

https://www.google.com/search?q=site%3Adomain.com&start=10, https://www.google.com/search?q=site%3Adomain.com&start=20,

テンプレートurl_data変数

url現在の問題は次のとおりです。それぞれをループして、それを出力してurl_dataいるような出力を取得する必要がありgetFirstPageLinksます。

どうすればこれを達成できますか？

ありがとうございました。