76

私はいくつかの Web スクレイピングを行っており、サイトでは非 ASCII 文字を表すために HTML エンティティを頻繁に使用しています。Python には、HTML エンティティを含む文字列を受け取り、Unicode 型を返すユーティリティがありますか?

例えば：

私は戻ってきます：

ǎ

声調の付いた「ǎ」を表します。バイナリでは、これは 16 ビットの 01ce として表されます。html実体を値に変換したい u'\u01ce'

4

10 に答える 10

60

Python にはhtmlentitydefsモジュールがありますが、これには HTML エンティティをエスケープ解除する機能が含まれていません。

Python 開発者の Fredrik Lundh (elementtree の作成者など) は、彼の Web サイトに、10 進数、16 進数、および名前付きエンティティで動作する関数を持っています。

import re, htmlentitydefs

##
# Removes HTML or XML character references and entities from a text string.
#
# @param text The HTML (or XML) source text.
# @return The plain text, as a Unicode string, if necessary.

def unescape(text):
    def fixup(m):
        text = m.group(0)
        if text[:2] == "&#":
            # character reference
            try:
                if text[:3] == "&#x":
                    return unichr(int(text[3:-1], 16))
                else:
                    return unichr(int(text[2:-1]))
            except ValueError:
                pass
        else:
            # named entity
            try:
                text = unichr(htmlentitydefs.name2codepoint[text[1:-1]])
            except KeyError:
                pass
        return text # leave as is
    return re.sub("&#?\w+;", fixup, text)
于 2008-09-12T01:40:41.390 に答える
60

標準ライブラリの非常に独自の HTMLParser には、文書化されていない関数 unescape() があります。これは、あなたが思っていることを正確に実行します。

Python 3.4 まで: 

import HTMLParser
h = HTMLParser.HTMLParser()
h.unescape('© 2010') # u'\xa9 2010'
h.unescape('© 2010') # u'\xa9 2010'

Python 3.4+:

import html
html.unescape('© 2010') # u'\xa9 2010'
html.unescape('© 2010') # u'\xa9 2010'
于 2012-09-27T05:34:44.200 に答える
18

ビルトインを使用unichr-- BeautifulSoup は必要ありません:

>>> entity = '&#x01ce'
>>> unichr(int(entity[3:],16))
u'\u01ce'
于 2008-09-11T23:09:08.710 に答える
17

Python 3.4 以降を使用している場合は、次のように単純に使用できますhtml.unescape。

import html

s = html.unescape(s)
于 2014-12-11T14:12:00.520 に答える
16

lxml がある場合の代替手段:

>>> import lxml.html
>>> lxml.html.fromstring('&#x01ce').text
u'\u01ce'
于 2012-02-09T18:55:48.347 に答える
8

ここで答えを見つけることができます-ウェブページから国際文字を取得しますか?

編集BeautifulSoup: 16 進数形式で記述されたエンティティを変換しないようです。修正できます：

import copy, re
from BeautifulSoup import BeautifulSoup

hexentityMassage = copy.copy(BeautifulSoup.MARKUP_MASSAGE)
# replace hexadecimal character reference by decimal one
hexentityMassage += [(re.compile('&#x([^;]+);'), 
                     lambda m: '&#%d;' % int(m.group(1), 16))]

def convert(html):
    return BeautifulSoup(html,
        convertEntities=BeautifulSoup.HTML_ENTITIES,
        markupMassage=hexentityMassage).contents[0].string

html = '<html>&#x01ce;&#462;</html>'
print repr(convert(html))
# u'\u01ce\u01ce'

編集：

unescape()標準モジュールを使用 する@dFによって言及された関数であり、この場合により適切である可能性があります。htmlentitydefsunichr()

于 2008-09-11T21:52:28.833 に答える
5

これは、エンティティを正しく変換して utf-8 文字に戻すのに役立つ関数です。

def unescape(text):
   """Removes HTML or XML character references 
      and entities from a text string.
   @param text The HTML (or XML) source text.
   @return The plain text, as a Unicode string, if necessary.
   from Fredrik Lundh
   2008-01-03: input only unicode characters string.
   http://effbot.org/zone/re-sub.htm#unescape-html
   """
   def fixup(m):
      text = m.group(0)
      if text[:2] == "&#":
         # character reference
         try:
            if text[:3] == "&#x":
               return unichr(int(text[3:-1], 16))
            else:
               return unichr(int(text[2:-1]))
         except ValueError:
            print "Value Error"
            pass
      else:
         # named entity
         # reescape the reserved characters.
         try:
            if text[1:-1] == "amp":
               text = "&amp;amp;"
            elif text[1:-1] == "gt":
               text = "&amp;gt;"
            elif text[1:-1] == "lt":
               text = "&amp;lt;"
            else:
               print text[1:-1]
               text = unichr(htmlentitydefs.name2codepoint[text[1:-1]])
         except KeyError:
            print "keyerror"
            pass
      return text # leave as is
   return re.sub("&#?\w+;", fixup, text)
于 2009-02-21T19:45:58.123 に答える
3

スタック オーバーフロー スレッドに「;」が含まれていない理由がわからない そうしないと、隣接する文字が HTML コードの一部として解釈される可能性があるため、BeautifulSoup はバーフする可能性があります(つまり、 の場合は 'B)。 39ブラックアウト）。

これは私にとってはうまくいきました：

import re
from BeautifulSoup import BeautifulSoup

html_string='<a href="/cgi-bin/article.cgi?f=/c/a/2010/12/13/BA3V1GQ1CI.DTL"title="">&#x27;Blackout in a can; on some shelves despite ban</a>'

hexentityMassage = [(re.compile('&#x([^;]+);'), 
lambda m: '&#%d;' % int(m.group(1), 16))]

soup = BeautifulSoup(html_string, 
convertEntities=BeautifulSoup.HTML_ENTITIES, 
markupMassage=hexentityMassage)
  1. int(m.group(1), 16) は、数値 (base-16 で指定) 形式を整数に変換します。
  2. m.group(0) は一致全体を返し、m.group(1) は正規表現キャプチャ グループを返します。
  3. 基本的に、markupMessage の使用は次と同じです:
    html_string = re.sub('&#x([^;]+);', lambda m: '&#%d;' % int(m.group(1), 16) 、html_string)
于 2010-12-14T11:52:26.177 に答える
1

別の解決策は、組み込みライブラリ xml.sax.saxutils (html と xml の両方) です。ただし、変換されるのは >、&、< のみです。

from xml.sax.saxutils import unescape

escaped_text = unescape(text_to_escape)
于 2015-11-02T20:28:35.620 に答える
0

dFの答えのPython 3バージョンは次のとおりです。

import re
import html.entities

def unescape(text):
    """
    Removes HTML or XML character references and entities from a text string.

    :param text:    The HTML (or XML) source text.
    :return:        The plain text, as a Unicode string, if necessary.
    """
    def fixup(m):
        text = m.group(0)
        if text[:2] == "&#":
            # character reference
            try:
                if text[:3] == "&#x":
                    return chr(int(text[3:-1], 16))
                else:
                    return chr(int(text[2:-1]))
            except ValueError:
                pass
        else:
            # named entity
            try:
                text = chr(html.entities.name2codepoint[text[1:-1]])
            except KeyError:
                pass
        return text # leave as is
    return re.sub("&#?\w+;", fixup, text)

主な変更点は、 that htmlentitydefsis nowhtml.entitiesとunichrthat is nowに関するものchrです。このPython 3 移植ガイドを参照してください。

于 2015-12-25T13:55:16.170 に答える