18

次の方法でデータが定義された HTML ページをダウンロードしています。

... <script type= "text/javascript">    window.blog.data = {"activity":{"type":"read"}}; </script> ...

「window.blog.data」で定義された JSON オブジェクトを抽出したいと思います。手動で解析するよりも簡単な方法はありますか? (私は Beautiful Soap を調べていますが、解析せずに正確なオブジェクトを返すメソッドが見つからないようです)

ありがとう

編集: Python ヘッドレス ブラウザ (Ghost.py など) でこれを行うことは可能であり、より正確でしょうか?

4

4 に答える 4

16

BeautifulSoup は html パーサーです。ここには JavaScript パーサーも必要です。ところで、一部の JavaScript オブジェクト リテラルは有効な json ではありません (ただし、この例ではリテラルも有効な json オブジェクトです)。

単純なケースでは、次のことができます。

  1. <script>html パーサーを使用して のテキストを抽出する
  2. window.blog...それが単一行であるか、オブジェクト内に存在しないと仮定し、';'単純な文字列操作または正規表現を使用して JavaScript オブジェクト リテラルを抽出します。
  3. 文字列が有効なjsonであると仮定し、jsonモジュールを使用して解析します

例：

#!/usr/bin/env python
html = """<!doctype html>
<title>extract javascript object as json</title>
<script>
// ..
window.blog.data = {"activity":{"type":"read"}};
// ..
</script>
<p>some other html here
"""
import json
import re
from bs4 import BeautifulSoup  # $ pip install beautifulsoup4
soup = BeautifulSoup(html)
script = soup.find('script', text=re.compile('window\.blog\.data'))
json_text = re.search(r'^\s*window\.blog\.data\s*=\s*({.*?})\s*;\s*$',
                      script.string, flags=re.DOTALL | re.MULTILINE).group(1)
data = json.loads(json_text)
assert data['activity']['type'] == 'read'

仮定が正しくない場合、コードは失敗します。

2 番目の仮定を緩和するには、正規表現の代わりに JavaScript パーサーを使用できますslimit( @approximatenumber で提案)。

from slimit import ast  # $ pip install slimit
from slimit.parser import Parser as JavascriptParser
from slimit.visitors import nodevisitor

soup = BeautifulSoup(html, 'html.parser')
tree = JavascriptParser().parse(soup.script.string)
obj = next(node.right for node in nodevisitor.visit(tree)
           if (isinstance(node, ast.Assign) and
               node.left.to_ecma() == 'window.blog.data'))
# HACK: easy way to parse the javascript object literal
data = json.loads(obj.to_ecma())  # NOTE: json format may be slightly different
assert data['activity']['type'] == 'read'

オブジェクトリテラル ( obj) を json オブジェクトとして扱う必要はありません。必要な情報を取得するには、obj他の ast ノードと同様に再帰的にアクセスできます。これにより、任意の JavaScript コードをサポートできるようになります (これは で解析できますslimit)。

于 2012-11-10T19:46:10.393 に答える
7

このようなものがうまくいくかもしれません：

import re

HTML = """ 
<html>
    <head>
    ...
    <script type= "text/javascript"> 
window.blog.data = {"activity":
    {"type":"read"}
    };
    ...
    </script> 
    </head>
    <body>
    ...
    </body>
    </html>
"""

JSON = re.compile('window.blog.data = ({.*?});', re.DOTALL)

matches = JSON.search(HTML)

print matches.group(1)
于 2012-11-10T19:40:29.270 に答える