0

私は2つの配列を持っています:

index  = [2,1,0,0,1,1,1,2]
values = [1,2,3,4,5,4,3,2]

私は生産したいと思います:

[sum(v for i,v in zip(index, values) if i == ui) for i in sorted(set(index))]

可能な限り効率的な方法で。

  • 私の値はautogradを介して計算されます
  • 上記の点により、パンダでグループバイを行うことは実際には効率的ではありません
  • 同じ値で何百回も実行する必要がありindexますが、値は異なります
  • len(values)~ 10**7
  • len(set(index))~ 10**6
  • Counter(index).most_common(1)[0][1]〜1000

純粋なnumpyソリューションが最適だと思います。

の縮小版を事前計算してから、次のindexようにします。

[values[l].sum() for l in reduced_index]

しかし、それは十分に効率的ではありません。

最小限のコード サンプルを次に示します。

import numpy as np
import autograd.numpy as anp
from autograd import grad
import pandas as pd

EASY = True

if EASY:
    index = np.random.randint(10, size=10**3)
    values = anp.random.rand(10**3) * 2 - 1
else:
    index = np.random.randint(1000, size=10**7)
    values = anp.random.rand(10**7) * 2 - 1


# doesn't work
def f1(values):
    return anp.exp(anp.bincount(index, weights=values)).sum()


index_unique = sorted(set(index))
index_map = {j: i for i, j in enumerate(index_unique)}
index_mapped = [index_map[i] for i in index]
index_lists = [[] for _ in range(len(index_unique))]
for i, j in enumerate(index_mapped):
    index_lists[j].append(i)


def f2(values):
    s = anp.array([values[l].sum() for l in index_lists])
    return anp.exp(s).sum()


ans = grad(f2)(values)
4

1 に答える 1

2

インデックスが負でない整数である場合は、np.bincountas valuesweightsを使用できます。

np.bincount(index, weights=values)
# array([ 7., 14.,  3.])

0からまでの各位置の和を求めるmax(index)．

于 2018-06-19T23:39:37.377 に答える