5

単純なチェックサムを計算したい: すべてのバイトの値を追加するだけです。

私が見つけた最も速い方法は次のとおりです。

checksum = sum([ord(c) for c in buf])

しかし、13 Mb のデータ buf の場合、4.4 秒かかります。長すぎます (C では、0.5 秒かかります)。

私が使用する場合：

checksum = zlib.adler32(buf) & 0xffffffff

0.8 秒かかりますが、結果は私が望むものではありません。

だから私の質問は次のとおりです。単純なチェックサムを計算するために、python 2.6に含める関数、またはlibまたはCはありますか？

前もって感謝します、エリック。

4

2 に答える 2

7

使用できますsum(bytearray(buf))：

In [1]: buf = b'a'*(13*(1<<20))

In [2]: %timeit sum(ord(c) for c in buf)
1 loops, best of 3: 1.25 s per loop

In [3]: %timeit sum(imap(ord, buf))
1 loops, best of 3: 564 ms per loop

In [4]: %timeit b=bytearray(buf); sum(b)
10 loops, best of 3: 101 ms per loop

Cythonsumbytes.pyxファイルで記述された Python の C 拡張は次のとおりです。

from libc.limits cimport ULLONG_MAX, UCHAR_MAX

def sumbytes(bytes buf not None):
    cdef:
        unsigned long long total = 0
        unsigned char c
    if len(buf) > (ULLONG_MAX // <size_t>UCHAR_MAX):
        raise NotImplementedError #todo: implement for > 8 PiB available memory
    for c in buf:
        total += c
    return total

sumbytesbytearrayバリアントよりも ~10 倍高速です:

name                    time ratio
sumbytes_sumbytes    12 msec  1.00 
sumbytes_numpy     29.6 msec  2.48 
sumbytes_bytearray  122 msec 10.19

時間測定を再現するには、ダウンロードreporttime.pyして実行します。

#!/usr/bin/env python
# compile on-the-fly
import pyximport; pyximport.install() # pip install cython
import numpy as np 
from reporttime import get_functions_with_prefix, measure    
from sumbytes import sumbytes # from sumbytes.pyx

def sumbytes_sumbytes(input):
    return sumbytes(input)

def sumbytes_bytearray(input):
    return sum(bytearray(input))

def sumbytes_numpy(input):
    return np.frombuffer(input, 'uint8').sum() # @root's answer

def main():
    funcs = get_functions_with_prefix('sumbytes_')
    buf = ''.join(map(unichr, range(256))).encode('latin1') * (1 << 16)
    measure(funcs, args=[buf])

main()
于 2013-01-31T10:02:32.057 に答える
4

を使用するnumpy.frombuffer(buf, "uint8").sum()と、例よりも約 70 倍高速になるようです。

In [9]: import numpy as np

In [10]: buf = b'a'*(13*(1<<20))

In [11]: sum(bytearray(buf))
Out[11]: 1322254336

In [12]: %timeit sum(bytearray(buf))
1 loops, best of 3: 253 ms per loop

In [13]: np.frombuffer(buf, "uint8").sum()
Out[13]: 1322254336

In [14]: %timeit np.frombuffer(buf, "uint8").sum()
10 loops, best of 3: 36.7 ms per loop

In [15]: %timeit sum([ord(c) for c in buf])
1 loops, best of 3: 2.65 s per loop
于 2013-01-31T09:35:58.273 に答える