4

次の形式のドロップボックス ダウンロード (23kb csv)のデータセットがあります。

データのサンプル レートは、0Hz から 200Hz を超える場合もあり、秒ごとに変化します。提供されるデータ セットのサンプルの最高レートは、毎秒約 50 サンプルです。

サンプルが取得されると、たとえば、常に秒全体に分散されます

time                   x
2012-12-06 21:12:40    128.75909883327378
2012-12-06 21:12:40     32.799224301545976
2012-12-06 21:12:40     98.932953779777989
2012-12-06 21:12:43    132.07033814856786
2012-12-06 21:12:43    132.07033814856786
2012-12-06 21:12:43     65.71691352191452
2012-12-06 21:12:44    117.1350194748169
2012-12-06 21:12:45     13.095622561808861
2012-12-06 21:12:47     61.295242676059246
2012-12-06 21:12:48     94.774064119961352
2012-12-06 21:12:49     80.169378222553533
2012-12-06 21:12:49     80.291142695702533
2012-12-06 21:12:49    136.55650749231367
2012-12-06 21:12:49    127.29790925838365

する必要があります

time                        x
2012-12-06 21:12:40 000ms   128.75909883327378
2012-12-06 21:12:40 333ms    32.799224301545976
2012-12-06 21:12:40 666ms    98.932953779777989
2012-12-06 21:12:43 000ms   132.07033814856786
2012-12-06 21:12:43 333ms   132.07033814856786
2012-12-06 21:12:43 666ms    65.71691352191452
2012-12-06 21:12:44 000ms   117.1350194748169
2012-12-06 21:12:45 000ms    13.095622561808861
2012-12-06 21:12:47 000ms    61.295242676059246
2012-12-06 21:12:48 000ms    94.774064119961352
2012-12-06 21:12:49 000ms    80.169378222553533
2012-12-06 21:12:49 250ms    80.291142695702533
2012-12-06 21:12:49 500ms   136.55650749231367
2012-12-06 21:12:49 750ms   127.29790925838365

パンダの時系列リサンプリング関数を使用する簡単な方法はありますか、または機能する numpy または scipy に組み込まれているものはありますか?

4

2 に答える 2

4

これを行うための組み込みのパンダまたはnumpyメソッド/関数はないと思います。

ただし、Python ジェネレーターを使用することをお勧めします。

def repeats(lst):
    i_0 = None
    n = -1 # will still work if lst starts with None
    for i in lst:
        if i == i_0:
            n += 1
        else:
            n = 0
        yield n
        i_0 = i
# list(repeats([1,1,1,2,2,3])) == [0,1,2,0,1,0]

次に、このジェネレーターを numpy 配列に入れることができます:

import numpy as np
df['rep'] = np.array(list(repeats(df['time'])))

繰り返しを数えます：

from collections import Counter
count = Counter(df['time'])
df['count'] = df['time'].apply(lambda x: count[x])

計算を実行します (これは計算の中で最もコストのかかる部分です)。

df['time2'] = df.apply(lambda row: (row['time'] 
                                 + datetime.timedelta(0, 1) # 1s
                                     * row['rep'] 
                                     / row['count']),
                 axis=1)

注: 計算列を削除するには、 と を使用del df['rep']しdel df['count']ます。

.

それを達成するための「組み込み」の方法の1つは、2回使用することで達成できるかもしれませんがshift、これはやや面倒になると思います...

于 2012-12-09T02:15:26.530 に答える
2

これは pandas の groupby メカニズムの優れた使用例であることがわかったので、これに対する解決策も提供したいと考えました。Andyのソリューションよりも少し読みやすいと思いますが、実際にはそれほど短くはありません。

# First, get your data into a dataframe after having copied 
# it with the mouse into a multi-line string:

import pandas as pd
from StringIO import StringIO

s = """2012-12-06 21:12:40    128.75909883327378
2012-12-06 21:12:40     32.799224301545976
2012-12-06 21:12:40     98.932953779777989
2012-12-06 21:12:43    132.07033814856786
2012-12-06 21:12:43    132.07033814856786
2012-12-06 21:12:43     65.71691352191452
2012-12-06 21:12:44    117.1350194748169
2012-12-06 21:12:45     13.095622561808861
2012-12-06 21:12:47     61.295242676059246
2012-12-06 21:12:48     94.774064119961352
2012-12-06 21:12:49     80.169378222553533
2012-12-06 21:12:49     80.291142695702533
2012-12-06 21:12:49    136.55650749231367
2012-12-06 21:12:49    127.29790925838365"""

sio = StringIO(s)
df = pd.io.parsers.read_csv(sio, parse_dates=[[0,1]], sep='\s*', header=None)
df = df.set_index('0_1')
df.index.name = 'time'
df.columns = ['x']

ここまではデータの準備だけだったので、解の長さを比較するならこれから！;)

# Now, groupby the same time indices:

grouped = df.groupby(df.index)

# Create yourself a second object
from datetime import timedelta
second = timedelta(seconds=1)

# loop over group elements, catch new index parts in list
l = []
for _,group in grouped:
    size = len(group)
    if size == 1:
        # go to pydatetime for later addition, so that list is all in 1 format
        l.append(group.index.to_pydatetime())
    else:
        offsets = [i * second / size for i in range(size)]
        l.append(group.index.to_pydatetime() + offsets)

# exchange index for new index
import numpy as np
df.index = pd.DatetimeIndex(np.concatenate(l))
于 2013-02-28T01:24:51.853 に答える