14

ここには、特定の文字列を特定のバイト長に切り詰める関数があります。

LENGTH_BY_PREFIX = [
  (0xC0, 2), # first byte mask, total codepoint length
  (0xE0, 3), 
  (0xF0, 4),
  (0xF8, 5),
  (0xFC, 6),
]

def codepoint_length(first_byte):
    if first_byte < 128:
        return 1 # ASCII
    for mask, length in LENGTH_BY_PREFIX:
        if first_byte & mask == mask:
            return length
    assert False, 'Invalid byte %r' % first_byte

def cut_string_to_bytes_length(unicode_text, byte_limit):
    utf8_bytes = unicode_text.encode('UTF-8')
    cut_index = 0
    while cut_index < len(utf8_bytes):
        step = codepoint_length(ord(utf8_bytes[cut_index]))
        if cut_index + step > byte_limit:
            # can't go a whole codepoint further, time to cut
            return utf8_bytes[:cut_index]
        else:
            cut_index += step
    # length limit is longer than our bytes strung, so no cutting
    return utf8_bytes

絵文字の質問が導入されるまで、これはうまくいくように見えました:

string = u"\ud83d\ude14"
trunc = cut_string_to_bytes_length(string, 100)

Traceback (most recent call last):
  File "<console>", line 1, in <module>
  File "<console>", line 5, in cut_string_to_bytes_length
  File "<console>", line 7, in codepoint_length
AssertionError: Invalid byte 152

ここで何が起こっているのか、そして可能な解決策は何かを誰かが正確に説明できますか?

編集:ここに、例外をスローしない別のコードスニペットがありますが、奇妙な動作をすることがあります:

import encodings
_incr_encoder = encodings.search_function('utf8').incrementalencoder()

def utf8_byte_truncate(text, max_bytes):
    """ truncate utf-8 text string to no more than max_bytes long """
    byte_len = 0
    _incr_encoder.reset()
    for index,ch in enumerate(text):
        byte_len += len(_incr_encoder.encode(ch))
        if byte_len > max_bytes:
            break
    else:
        return text
    return text[:index]

>>> string = u"\ud83d\ude14\ud83d\ude14\ud83d\ude14\ud83d\ude14\ud83d\ude14" 
>>> print string
(prints a set of 5 Apple Emoji...)
>>> len(string)
10
>>> trunc = utf8_byte_truncate(string, 4)
>>> print trunc
???
>>> len(trunc)
1

したがって、この 2 番目の例では、10 バイトの文字列を 4 に切り捨てますが、奇妙なことが起こり、結果はサイズが 1 バイトの文字列になります。

4

3 に答える 3

12

@jwpat7が示したように、アルゴリズムは間違っています。より単純なアルゴリズムは次のとおりです。

# s = u'\ud83d\ude14\ud83d\ude14\ud83d\ude14\ud83d\ude14\ud83d\ude14'
# Same as above
s = u'\U0001f614' * 5   # Unicode character U+1F614

def utf8_lead_byte(b):
    '''A UTF-8 intermediate byte starts with the bits 10xxxxxx.'''
    return (ord(b) & 0xC0) != 0x80

def utf8_byte_truncate(text, max_bytes):
    '''If text[max_bytes] is not a lead byte, back up until a lead byte is
    found and truncate before that character.'''
    utf8 = text.encode('utf8')
    if len(utf8) <= max_bytes:
        return utf8
    i = max_bytes
    while i > 0 and not utf8_lead_byte(utf8[i]):
        i -= 1
    return utf8[:i]

# test for various max_bytes:
for m in range(len(s.encode('utf8'))+1):
    b = utf8_byte_truncate(s,m)
    print m,len(b),b.decode('utf8')

出力

0 0 
1 0 
2 0 
3 0 
4 4 
5 4 
6 4 
7 4 
8 8 
9 8 
10 8 
11 8 
12 12 
13 12 
14 12 
15 12 
16 16 
17 16 
18 16 
19 16 
20 20
于 2012-12-06T06:56:03.020 に答える
6

数値 f が のようなものである場合、 0xF0 には 0xC0 が持つすべてのビットがあり、次にいくつかのビットがあるためf & 0xF0 == 0xF0、それもまた当てはまります。f & 0xC0 == 0xC0つまり、他の問題の中で、codepoint_length()関数はステップ 2 を返しますが、LENGTH_BY_PREFIX リストを逆にすると、関数は最初の例で問題なく動作します。

LENGTH_BY_PREFIX = [
  (0xFC, 6),
  (0xF8, 5),
  (0xF0, 4),
  (0xE0, 3), 
  (0xC0, 2), # first byte mask, total codepoint length
]
于 2012-12-05T16:58:15.213 に答える
2

Python 3 用の Mark のコードのバージョン:

# s = u'\ud83d\ude14\ud83d\ude14\ud83d\ude14\ud83d\ude14\ud83d\ude14'
# Same as above
s = u'\U0001f614' * 5   # Unicode character U+1F614

def utf8_lead_byte(b):
    '''A UTF-8 intermediate byte starts with the bits 10xxxxxx.'''
    return (b & 0xC0) != 0x80

def utf8_byte_truncate(text, max_bytes):
    '''If text[max_bytes] is not a lead byte, back up until a lead byte is
    found and truncate before that character.'''
    utf8 = text.encode('utf8')
    if len(utf8) <= max_bytes:
        return utf8
    i = max_bytes
    while i > 0 and not utf8_lead_byte(utf8[i]):
        i -= 1
    return utf8[:i]

# test for various max_bytes:
for m in range(len(s.encode('utf8'))+1):
    b = utf8_byte_truncate(s,m)
    print(m,len(b),b.decode('utf8'))

編集: これは、python3 に適応した Mark Tolonen によるオリジナルのコードです。前のコードは間違っていました。コメントありがとうございます！

于 2017-05-08T13:25:37.457 に答える