4

私はかなり大きなPythonコードベースを持っています。一部の文字列リテラルが文字列であり、他の文字列がユニコードであるという問題があります。そして、これはバグを引き起こします。私はすべてをユニコードに変換しようとしています。すべてのリテラルをUnicodeに変換できるツールがあるかどうか疑問に思いました。つまり、次のようなものが見つかった場合：

print "result code %d" % result['code']

に：

print u"result code %d" % result[u'code']

PyCharmを使用するのに役立つ場合（これを行う拡張機能がある場合）、ただし、同様のコマンドを使用してもかまいません。うまくいけば、そのようなツールが存在します。

4

2 に答える 2

8

tokenize.generate_tokensを使用して、Python コードの文字列表現をトークンに分割できます。tokenizeまた、トークンを分類します。したがって、Python コードで文字列リテラルを識別できます。

トークンを操作して'u'、必要に応じて追加することは難しくありません。

import tokenize
import token
import io
import collections

class Token(collections.namedtuple('Token', 'num val start end line')):
    @property
    def name(self):
        return token.tok_name[self.num]

def change_str_to_unicode(text):    
    result = text.splitlines()
    # Insert a dummy line into result so indexing result
    # matches tokenize's 1-based indexing
    result.insert(0, '')
    changes = []
    for tok in tokenize.generate_tokens(io.BytesIO(text).readline):
        tok = Token(*tok)
        if tok.name == 'STRING' and not tok.val.startswith('u'):
            changes.append(tok.start)

    for linenum, s in reversed(changes):
        line = result[linenum]
        result[linenum] = line[:s] + 'u' + line[s:]
    return '\n'.join(result[1:])

text = '''print "result code %d" % result['code']
# doesn't touch 'strings' in comments
'handles multilines' + \
'okay'
u'Unicode is not touched'
'''

print(change_str_to_unicode(text))

収量

print u"result code %d" % result[u'code']
# doesn't touch 'strings' in comments
u'handles multilines' + u'okay'
u'Unicode is not touched'
于 2013-03-16T15:08:03.813 に答える
1

これを試して（正規表現を使用）、@unutbuのソリューションよりも短いです。
しかし、抜け穴があり、含まれている文字列#はこれでは機能しません。

import re
scode = '''
print "'Hello World'" # prints 'Hello World'
u'Unicode is unchanged'"""
# so are "comments"'''
x1 = re.compile('''(?P<unicode>u?)(?P<c>'|")(?P<data>.*?)(?P=c)''')

def repl(m):
    return "u%(c)s%(data)s%(c)s" % m.groupdict()

fcode = '\n'.join(
      [re.sub(x1,repl,i)
       if not '#' in i
       else re.sub(x1,repl,i[:i.find('#')])+i[i.find('#'):]
       for i in scode.splitlines()])
print fcode

出力:

print u"'Hello World'" # prints 'Hello World'
u'Unicode is unchanged'
# so are "comments"

私はこれを持っています（そして#@unutbuのソリューションよりも長いです:|）

import re
scode = '''print "'Hello World'"  # prints 'Hello World'
u'Unicode is unchanged'
# so are "comments"
'#### Hi' # 'Hi' '''

x1 = re.compile('''(?P<unicode>u?)(?P<c>'|")(?P<data>.*?)(?P=c)''')

def in_string(text,index):
    curr,in_l,in_str,level = '',0,False,[]

    for c in text[:index+1]:
        if c == '"' or c == "'":
            if in_str and curr == c:
                instr = False
                curr = ''
                in_l -= 1
            else:
                instr = True
                curr = c
                in_l += 1
        level.append(in_l)
    return bool(level[index])

def repl(m):
    return "u%(c)s%(data)s%(c)s" % m.groupdict()

def handle_hashes(i):
    if i.count('#') == 1:
        n = i.find('#')
    else:
        n = get_hash_out_of_string(i)
    return re.sub(x1,repl,i[:n]) + i[n:]

def get_hash_out_of_string(i):
    n = i.find('#')
    curr = i[:]
    last = (len(i)-1)-''.join(list(reversed(i))).find('#')
    while in_string(curr,n) and n < last:
        curr = curr[:n]+' '+curr[n+1:]
        n = curr.find('#')
    return n

fcode = '\n'.join(
    [re.sub(x1,repl,i)
     if not '#' in i
     else handle_hashes(i)
     for i in scode.splitlines()])

print fcode

出力：

print u"'Hello World'"  # prints 'Hello World'
u'Unicode is unchanged'
# so are "comments"
u'#### Hi' # 'Hi'
于 2013-03-17T04:55:17.767 に答える