5

私は30分間隔で大量の時系列データセットを持っており、このデータセットに対してスライディングウィンドウを実行しようとしていますが、パンダを使用して1日の各ポイントで個別に実行しています。

私は統計家ではなく、この種の仕事を考えたりコーディングしたりするのは得意ではありませんが、これが私のやりたいことをやるという不器用な試みです。マルチインデックスと適切な反復を使用して、これを行うためのより良い方法があることを知っているので、私は本当にそれを改善する助けを探していますか?しかし、私は「時間軸」全体でこれを行うのに苦労しました。

def sliding_window(run,data,type='mean'):
    data = data.asfreq('30T')
    for x in date_range(run.START, run.END, freq='1d'):
        if int(datetime.strftime(x, "%w")) == 0 or int(datetime.strftime(x, "%w")) == 6:
            points = data.select(weekends).truncate(x - relativedelta(days=run.WINDOW),x + relativedelta(days=run.WINDOW)).groupby(lambda date: minutes(date, x)).mean()
        else:
            points = data.select(weekdays).truncate(x - relativedelta(days=run.WINDOW),x + relativedelta(days=run.WINDOW)).groupby(lambda date: minutes(date, x)).mean()
        for point in points.index:
            data[datetime(x.year,x.month,x.day,point.hour,point.minute)] = points[point]
    return data

run.START、run.END、およびrun.WINDOWは、データ内の2つのポイントと45(日)です。私はこのコードをよく見つめているので、他の人にとって何が意味があるのか​​わかりません。他のことを明確にするために質問してください。

解決済み:(解決策はクルーバムの好意による)

予想通りばかげて速くなる変更された関数:

def sliding_window(run,data,am='mean',days='weekdays'):
    data = data.asfreq('30T')
    data = DataFrame({'Day': [d.date() for d in data.index], 'Time': [d.time() for d in data.index], 'Weekend': [weekday_string(d) for d in data.index], 'data': data})
    pivot = data.pivot_table(values='data', rows='Day', cols=['Weekend', 'Time'])
    pivot = pivot[days]
    if am == 'median':
        mean = rolling_median(pivot, run.WINDOW*2, min_periods=1)
    mean = rolling_mean(pivot, run.WINDOW*2, min_periods=1)
    return DataFrame({'mean': unpivot(mean), 'amax': np.tile(pivot.max().values, pivot.shape[0]), 'amin': np.tile(pivot.min().values, pivot.shape[0])}, index=data.index)

unpivot関数:

def unpivot(frame):
    N, K = frame.shape
    return Series(frame.values.ravel('C'), index=[datetime.combine(d[0], d[1]) for d in zip(np.asarray(frame.index).repeat(K), np.tile(np.asarray(frame.ix[0].index), N))])

slide_meanのcenter=Trueは現時点では壊れているようです。機会があれば、githubにファイルします。

4

1 に答える 1

4

MultiIndexes に興味がある場合は、 をチェックしてください df.pivot_table()。複数のキーがrowsおよび/またはcolsパラメーターで渡されると、MultiIndexが自動的に作成されます。

たとえば、週末と週末以外の 30 分間のブロックごとに個別の列が存在するように、データをピボットするとします。次のように、Day、Weekend、および TOD (時刻) 列を DataFrame に追加し、それらの列名を pivot_table に渡すことで、これを行うことができます。

pivot = df.pivot_table(values='Usage', rows='Day', cols=['TOD', 'Weekend'])

この形式では、pd.rolling_mean()(または作成した関数) を の列に簡単に適用できますpivot。pd.rolling_mean() は、pandas のすべてのローリング/移動関数と同様に、center中央に配置されたスライディング ウィンドウのパラメーターも受け入れます。

pd.rolling_mean(pivot, 90, center=True, min_periods=1)
于 2012-12-21T07:38:15.460 に答える