10

Unicode エラーが発生します:UnicodeEncodeError: 'charmap' codec can't encode character u'\xa9' in position 822: character maps to <undefined>

これは標準の著作権記号のようで、HTML では © です。私はこれを乗り越える方法を見つけることができませんでした。コピーをスペースに置き換えるカスタム関数も試しましたが、それも同じエラーで失敗しました。

import sys
import pprint
import mechanize
import cookielib
from bs4 import BeautifulSoup
import html2text
import lxml

def MakePretty():

def ChangeCopy(S):
    return S.replace(chr(169)," ")
br = mechanize.Browser()

# Cookie Jar
cj = cookielib.LWPCookieJar()
br.set_cookiejar(cj)

# Browser options
br.set_handle_equiv(True)
#br.set_handle_gzip(True)
br.set_handle_redirect(True)
br.set_handle_referer(True)
br.set_handle_robots(False)

# Follows refresh 0 but not hangs on refresh > 0
br.set_handle_refresh(mechanize._http.HTTPRefreshProcessor(), max_time=1)

# User-Agent (this is cheating, ok?)
br.addheaders = [('User-agent', 'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.1) Gecko/2008071615 Fedora/3.0.1-1.fc9 Firefox/3.0.1')]

# The site we will navigate into, handling its session
# Open the site
br.open('http://www.thesitewizard.com/faqs/copyright-symbol.shtml')
html = br.response().read()
soup = BeautifulSoup(html)
print soup.prettify()

if __name__ == '__main__':
    MakePretty()

著作権記号を超えてプリティファイを取得するにはどうすればよいですか? 私は役に立たない解決策をウェブ全体で検索しました（または、Pythonとスクレイピングにかなり慣れていないため、理解できないかもしれません）。

ご協力いただきありがとうございます。

4

4 に答える 4

27

私も同じ問題を抱えていました。これはあなたのために働くかもしれません：

print soup.prettify().encode('UTF-8')

于 2012-11-23T07:32:39.243 に答える
1

ページhttp://www.thesitewizard.com/faqs/copyright-symbol.shtmlは、文字エンコードを指定せずに送信されます。ページ自体は、タグでエンコーディングを ISO-8859-1 として指定していますmetaが、「©」文字の出現後のみです。そのため、クライアントは推測を行う必要があり、その推測は間違っている可能性があります。クライアントが UTF-8 を推測すると、ビット A9 が表示されます。これは、UTF-8 データのデータ エラーです。

そのため、データを読み取るときにエンコーディングを (ISO-8859-1、またはより安全には windows-1252 に) 設定する必要があるようです。もちろん、これはその場しのぎの解決策です。一般にエンコーディングを修正しても意味がありません。

于 2012-07-12T17:53:31.600 に答える
0

フォーマッタ関数で unichr に変更しただけではうまくいきませんでした。著作権記号なしでフォーマットされていないhtmlを返したdecode（formatter = blah）を使用することになりました。そのhtmlを保存し、それをprettifyにフィードして、トリックを行いました。

于 2012-07-13T13:58:26.417 に答える
0

を使用していますがchr()、これは ASCII を想定しており、127/0x7F までしか進まないため、ここでは間違っています (一般的な民間伝承にもかかわらず、ASCII は 7 ビットのみです)。0xA9 / © は Unicode なので、unichr(169)代わりに使用する必要があります。

于 2012-07-12T17:57:40.007 に答える