これを BeautifulSoup のバージョン 3 と 4 の両方でテストしたところ、bs4
(バージョン 4) の方がバージョン 3 よりも HTML を適切に修正しているように見えることがわかりました。
BeautifulSoup 3 の場合:
>>> html = """<img onload='javascript:if(this.width>950) this.width=950' src="http://ww4.sinaimg.cn/mw600/c3107d40jw1e3rt4509j.jpg">"""
>>> soup = BeautifulSoup(html) # Version 3 of BeautifulSoup
>>> print soup
<img onload="javascript:if(this.width>950) this.width=950" />950) this.width=950' src="http://ww4.sinaimg.cn/mw600/c3107d40jw1e3rt4509j.jpg">
>
現在の様子と>
、いくつかのビットがずれていることに注意してください。
また、 BeautifulSoup() を呼び出すと、分割されます。soup.img を印刷すると、次のようになります。
<img onload="javascript:if(this.width>950) this.width=950" />
そのため、詳細を見逃すことになります。
( bs4
BeautifulSoup 4、現在のバージョン):
>>> html = '''<img onload='javascript:if(this.width>950) this.width=950' src="http://ww4.sinaimg.cn/mw600/c3107d40jw1e3rt4509j.jpg">'''
>>> soup = BeautifulSoup(html)
>>> print soup
<html><body><img onload="javascript:if(this.width>950) this.width=950" src="http://ww4.sinaimg.cn/mw600/c3107d40jw1e3rt4509j.jpg"/></body></html>
今では.attrs
: BeautifulSoup 3 では、あなたが発見したように、タプルのリストを返します。BeautifulSoup 4 では、辞書を返します。
>>> print soup.findAll('img')[0].attrs # Version 3
[(u'onload', u'javascript:if(this.width>950) this.width=950')]
>>> print soup.findAll('img')[0].attrs # Version 4
{'onload': 'javascript:if(this.width>950) this.width=950', 'src': 'http://ww4.sinaimg.cn/mw600/c3107d40jw1e3rt4509j.jpg'}
じゃあ何をすればいいの?BeautifulSoup 4 を入手してください。HTML をより適切に解析します。
ちなみに、必要なのが だけの場合src
、呼び出し.attrs
は必要ありません。
>>> print soup.findAll('img')[0].get('src')
http://ww4.sinaimg.cn/mw600/c3107d40jw1e3rt4509j.jpg