Web からいくつかの Web ページをダウンロードする必要があります。それらをダウンロードするために wget(URL) を使用していますが、一定量のダウンロード (100 秒未満) の後、ダウンロードされず、エラーが発生することがわかりました。
私がファイルに URL を持っている多くの Web ページをダウンロードする最良の方法を誰か教えてください。
Query1='"http://scholar.google.com/scholar?q=%22'+a+'%22&btnG=&hl=en&as_sdt=0%2C24"'
URL1='wget --user-agent Chrome '+Query1+' -O '+file1
os.system(URL1)
これは私が使用しているコードです
ありがとう