4

ここにあるPython用の新聞モジュールを使用しています。

チュートリアルでは、異なる新聞の建物をプールして同時に生成する方法について説明しています。(上記のリンクの「マルチスレッドの記事のダウンロード」を参照してください)

URL の LIST から直接記事を取得するためにこれを行う方法はありますか? つまり、次のセットアップに複数の URL を送り込み、それらを同時にダウンロードして解析する方法はありますか?

from newspaper import Article
url = 'http://www.bbc.co.uk/zhongwen/simp/chinese_news/2012/12/121210_hongkong_politics.shtml'
a = Article(url, language='zh') # Chinese
a.download()
a.parse()
print(a.text[:150])
4

4 に答える 4

0

Newspaper モジュールには詳しくありませんが、次のコードは URL のリストを使用しており、リンクされたページで提供されているものと同等である必要があります。

import newspaper
from newspaper import news_pool

urls = ['http://slate.com','http://techcrunch.com','http://espn.com']
papers = [newspaper.build(i) for i in urls]
news_pool.set(papers, threads_per_source=2)
news_pool.join()
于 2016-05-25T04:11:20.227 に答える