5

いくつかのパーサーをBeautifulSoup3からBeautifulSoup4に移行していますが、lxmlが非常に高速であり、BS4で使用しているパーサーであることを考慮すると、どのくらい速くなるかをプロファイルすることをお勧めします。プロファイルの結果は次のとおりです。

BS3の場合：

43208 function calls (42654 primitive calls) in 0.103 seconds

Ordered by: standard name

ncalls  tottime  percall  cumtime  percall filename:lineno(function)
    1    0.000    0.000    0.000    0.000 <string>:2(<module>)
   18    0.000    0.000    0.000    0.000 <string>:8(__new__)
    1    0.000    0.000    0.072    0.072 <string>:9(parser)
   32    0.000    0.000    0.000    0.000 BeautifulSoup.py:1012(__init__)
    1    0.000    0.000    0.000    0.000 BeautifulSoup.py:1018(buildTagMap)
...

lxmlを使用するBS4の場合：

164440 function calls (163947 primitive calls) in 0.244 seconds

Ordered by: standard name

ncalls  tottime  percall  cumtime  percall filename:lineno(function)
    1    0.040    0.040    0.069    0.069 <string>:2(<module>)
   18    0.000    0.000    0.000    0.000 <string>:8(__new__)
    1    0.000    0.000    0.158    0.158 <string>:9(parser)
    1    0.000    0.000    0.008    0.008 HTMLParser.py:1(<module>)
    1    0.000    0.000    0.000    0.000 HTMLParser.py:54(HTMLParseError)
...

なぜBS44倍以上の関数を呼び出すのですか？HTMLParser使用するように設定したのに、なぜ使用するのlxmlですか？

BS3からBS4に変更した最も注目すべき点は次のとおりです。

 BeautifulSoup(html, convertEntities=BeautifulSoup.HTML_ENTITIES)  --->
 BeautifulSoup(html, 'lxml')

 [x.getText('**SEP**') for x in i.findChildren('font')[:2]] --->
 [x.getText('**SEP**', strip=True) for x in i.findChildren('font')[:2]]

それ以外はすべて名前の変更です（findParent-> find_parentなど）

編集：

私の環境：

python 2.7.3
beautifulsoup4==4.1.0
lxml==2.3.4

編集2：

これを試すための小さなコードサンプルを次に示します。

from cProfile import Profile

from BeautifulSoup import BeautifulSoup
from bs4 import BeautifulSoup as BS4
import urllib2


def parse(html):

    soup = BS4(html, 'lxml')
    hl = soup.find_all('span', {'class': 'mw-headline'})
    return [x.get_text(strip=True) for x in hl]


def parse3(html):

    soup = BeautifulSoup(html, convertEntities=BeautifulSoup.HTML_ENTITIES)
    hl = soup.findAll('span', {'class': 'mw-headline'})
    return [x.getText() for x in hl]


if __name__ == "__main__":
    opener = urllib2.build_opener()
    opener.addheaders = [('User-agent', 'Mozilla/5.0')]
    html = ''.join(opener.open('http://en.wikipedia.org/wiki/Price').readlines())

    profiler = Profile()
    print profiler.runcall(parse, html)
    profiler.print_stats()

    profiler2 = Profile()
    print profiler2.runcall(parse3, html)
    profiler2.print_stats()
4

1 に答える 1

1

主な問題はBeautifulSoup4のバグだと思います。私はそれを提出し、次のバージョンで修正がリリースされる予定です。これを見つけてくれてありがとう。

そうは言っても、lxmlを使用していることを考えると、プロファイルがHTMLParserクラスに言及している理由はわかりません。

于 2012-07-02T20:05:48.510 に答える