7

一部の値のみが有効で、残りは nan の numpy 配列があります。例：

[nan,nan, 1 , 2 , 3 , nan, nan, 10, 11 , nan, nan, nan, 23, 1, nan, 7, 8]

毎回有効なデータを含むチャンクのリストに分割したいと思います。結果は次のようになります

[[1,2,3], [10,11], [23,1], [7,8]]

配列を反復処理し、isfinite() をチェックし、(start,stop) インデックスを生成することで、なんとかやり遂げました。

しかし…痛々しいほど遅い…

おそらくもっと良い考えがありますか？

4

2 に答える 2

11

ここに別の可能性があります：

import numpy as np
nan = np.nan

def using_clump(a):
    return [a[s] for s in np.ma.clump_unmasked(np.ma.masked_invalid(a))]

x = [nan,nan, 1 , 2 , 3 , nan, nan, 10, 11 , nan, nan, nan, 23, 1, nan, 7, 8]

In [56]: using_clump(x)
Out[56]: 
[array([ 1.,  2.,  3.]),
 array([ 10.,  11.]),
 array([ 23.,   1.]),
 array([ 7.,  8.])]

using_clump と using_groupby を比較するいくつかのベンチマーク:

import itertools as IT
groupby = IT.groupby
def using_groupby(a):
    return [list(v) for k,v in groupby(a,np.isfinite) if k]

In [58]: %timeit using_clump(x)
10000 loops, best of 3: 37.3 us per loop

In [59]: %timeit using_groupby(x)
10000 loops, best of 3: 53.1 us per loop

より大きな配列の場合、パフォーマンスはさらに向上します。

In [9]: x = x*1000
In [12]: %timeit using_clump(x)
100 loops, best of 3: 5.69 ms per loop

In [13]: %timeit using_groupby(x)
10 loops, best of 3: 60 ms per loop
于 2013-01-30T14:22:45.710 に答える
3

私は使用しますitertools.groupby- 少し速いかもしれません：

from numpy import NaN as nan
import numpy as np
a = np.array([nan,nan, 1 , 2 , 3 , nan, nan, 10, 11 , nan, nan, nan, 23, 1, nan, 7, 8])
from itertools import groupby
result = [list(v) for k,v in groupby(a,np.isfinite) if k]
print result #[[1.0, 2.0, 3.0], [10.0, 11.0], [23.0, 1.0], [7.0, 8.0]]
于 2013-01-30T14:10:10.427 に答える