python - wget を使用してファイルをダウンロードする

Question

Web ページから適合ファイルをダウンロードする必要があります。私は-iwget オプションを使用してこれを行っています: ダウンロード ファイルをlist.txtURL1、URL2 を含むファイルに保存し、次に

$ wget -i list.txt

Pythonスクリプトを使用して同じことを行う可能性があるかどうか知っていますか?

Answer 1

ファイルに1行に1つのURLが含まれているとすると、次のように実行できます。

import urllib2
with open('list.txt') as my_list:
    for line in my_list:
        response = urllib2.urlopen(line)
        html = response.read()
        # now process the page's source