2

たとえば、

unicode_string = u"Austro\u002dHungarian_gulden"
unicode_string.encode("ascii", "ignore")

次に、次の出力が得られます。'Austro-Hungarian_gulden'

しかし、私は以下のようなデータセットを含むtxtファイルを使用しています:

Austria\u002dHungary    Austro\u002dHungarian_gulden
Cocos_\u0028Keeling\u0029_Islands   Australian_dollar
El_Salvador Col\u00f3n_\u0028currency\u0029
Faroe_Islands   Faroese_kr\u00f3na
Georgia_\u0028country\u0029 Georgian_lari

そして、このデータをPythonで正規表現を使用して処理する必要があるため、以下のようなスクリプトを作成しましたが、文字列内のUnicode値を適切な文字に置き換えることはできません。

同じく

'\u002d' has appropriate character '-'
'\u0028' has appropriate character '('
'\u0029' has appropriate character ')'

テキストファイルを処理するためのスクリプト:

import re
import collections

def extract():
    filename = raw_input("Enter file Name:")
    in_file = file(filename,"r")
    out_file = file("Attribute.txt","w+")
    for line in in_file:
        values = line.split("\t")
        if values[1]:
            str1 = ""
            for list in values[1]:
                list = re.sub("[^\Da-z0-9A-Z()]","",list)
                list = list.replace('_',' ')
                out_file.write(list)
                str1 += list
            out_file.write("    ")
        if values[2]:
            str2 = ""
            for list in values[2]:
                list = re.sub("[^\Da-z0-9A-Z\n]"," ",list)
                list = list.replace('"','')
                list = list.replace('_',' ')
                out_file.write(list)
                str2 += list
        s1 = str1.lstrip()
        s1 = str1.rstrip()
        s2 = str2.lstrip()
        s2 = str2.rstrip()
        print s1+s2

指定されたデータの期待される出力は次のとおりです。

Austria-Hungary Austro-Hungarian gulden
Cocos (Keeling) Islands Australian dollar
El Salvador Coln (currency)
FaroeIslands    Faroese krna
Georgia (country)   Georgian lari

どうすればいいですか?

4

1 に答える 1