9

1 つの辞書に結合し、リスト内の各辞書の値を追加したい辞書のリストがあります。例えば：

ds = [{1: 1, 2: 0, 3: 0}, {1: 2, 2: 1, 3: 0}, {1: 3, 2: 2, 3: 1, 4: 5}]

最終結果は単一の辞書になるはずです:

merged = {1: 6, 2: 3, 3: 1, 4: 5}

私はパフォーマンスに興味があり、n 辞書のリストを 1 つの辞書にマージして値を合計できる最速の実装を探しています。明らかな実装は次のとおりです。

from collections import defaultdict

merged = defaultdict(int)

for d in ds:
    for k, v in d.items():
        merged[k] += v

Python 2.6でこれを行うより速い方法はありますか?

4

1 に答える 1

6

defaultdictはまだ最速ですが、関数名をキャッシュすることで高速化する方法をいくつか見つけましたが、 orfor k in dを使用する代わりに反復するだけで、大幅に高速化する別の方法を見つけましたd.items()d.iteritems()

これまでのいくつかのタイミング:

from random import randrange
ds = [dict((randrange(1, 1000), randrange(1, 1000)) for i in xrange(500))
      for i in xrange(10000)]

# 10000 dictionaries of approx. length 500

from collections import defaultdict

def merge1(dicts, defaultdict=defaultdict, int=int):
    merged = defaultdict(int)
    for d in dicts:
        for k in d:
            merged[k] += d[k]
    return merged

def merge2(dicts):
    merged = {}
    merged_get = merged.get
    for d in dicts:
        for k in d:
            merged[k] = merged_get(k, 0) + d[k]
    return merged


def merge3(dicts):
    merged = {}
    for d in dicts:
        for k in d:
            merged[k] = merged[k] + d[k] if k in merged else 0
    return merged


from timeit import timeit
for func in ('merge1', 'merge2', 'merge3'):
    print func, timeit(stmt='{0}(ds)'.format(func),
                       setup='from __main__ import merge1, merge2, merge3, ds',
                       number=1)

merge1 0.992541510164
merge2 1.40478747997
merge3 1.23502204889
于 2013-04-23T12:48:36.123 に答える