0

Google App Engine で実行するプログラムを作成しています。これは単に URL を取得し、HTML ソースからマークアップ、スクリプト、その他の読み取り不可能なものを削除することでテキストを返します (nltk.clear_html と同様)。

Eikeによる HtmlTool 。

import urllib

class HtmlTool(object):
    import HTMLParser
    import re
    """
    Algorithms to process HTML.
    """
    #Regular expressions to recognize different parts of HTML. 
    #Internal style sheets or JavaScript 
    script_sheet = re.compile(r"<(script|style).*?>.*?(</\1>)", 
                              re.IGNORECASE | re.DOTALL)
    #HTML comments - can contain ">"
    comment = re.compile(r"<!--(.*?)-->", re.DOTALL) 
    #HTML tags: <any-text>
    tag = re.compile(r"<.*?>", re.DOTALL)
    #Consecutive whitespace characters
    nwhites = re.compile(r"[\s]+")
    #<p>, <div>, <br> tags and associated closing tags
    p_div = re.compile(r"</?(p|div|br).*?>", 
                       re.IGNORECASE | re.DOTALL)
    #Consecutive whitespace, but no newlines
    nspace = re.compile("[^\S\n]+", re.UNICODE)
    #At least two consecutive newlines
    n2ret = re.compile("\n\n+")
    #A return followed by a space
    retspace = re.compile("(\n )")

    #For converting HTML entities to unicode
    html_parser = HTMLParser.HTMLParser()

    @staticmethod
    def to_nice_text(html):
        """Remove all HTML tags, but produce a nicely formatted text."""
        if html is None:
            return u""
        text = html
        text = HtmlTool.script_sheet.sub(" ", text)
        text = HtmlTool.comment.sub(" ", text)
        text = HtmlTool.nwhites.sub(" ", text)
        text = HtmlTool.p_div.sub("\n", text) #convert <p>, <div>, <br> to "\n"
        text = HtmlTool.tag.sub(" ", text)     #remove all tags
        text = HtmlTool.html_parser.unescape(text)
        #Get whitespace right
        text = HtmlTool.nspace.sub(" ", text)
        text = HtmlTool.retspace.sub("\n", text)
        text = HtmlTool.n2ret.sub("\n\n", text)
        text = text.strip()
        return text

「http://google.com」で機能します

text = HtmlTool.to_nice_text(urllib.urlopen('http://google.com').read())

しかし、「 http://yahoo.com」に対してエラーがスローされます

text = HtmlTool.to_nice_text(urllib.urlopen('http://yahoo.com').read())

エラー：

Traceback (most recent call last):
  File "C:\Users\BK\Desktop\Working Folder\AppEngine\crawlnsearch\-test.py", line 51, in <module>
    text = HtmlTool.to_nice_text(urllib.urlopen('http://yahoo.com').read())
  File "C:\Users\BK\Desktop\Working Folder\AppEngine\crawlnsearch\-test.py", line 43, in to_nice_text
    text = HtmlTool.html_parser.unescape(text)
  File "C:\Python27\lib\HTMLParser.py", line 472, in unescape
    return re.sub(r"&(#?[xX]?(?:[0-9a-fA-F]+|\w{1,8}));", replaceEntities, s)
  File "C:\Python27\lib\re.py", line 151, in sub
    return _compile(pattern, flags).sub(repl, string, count)
UnicodeDecodeError: 'ascii' codec can't decode byte 0xe0 in position 1531: ordinal not in range(128)

ですから、このコードの何が問題なのかを説明して修正を投稿するか、nltk.clean_html の使用方法を教えてください。

4

1 に答える 1

1

これは、ユニコードとバイト文字列が混在しているためです。

モジュール内で HtmlTool を使用する場合

from __future__ import unicode_literals

すべての" "-like ブロックが Unicode であることを確認するため、および

text = HtmlTool.to_nice_text(urllib.urlopen(url).read().decode("utf-8"))

メソッドにUTF-8文字列を送信すると、問題が解決します。

Unicode の詳細については、http: //www.joelonsoftware.com/articles/Unicode.htmlをお読みください。

于 2013-08-31T04:09:26.187 に答える