私は30分間隔で大量の時系列データセットを持っており、このデータセットに対してスライディングウィンドウを実行しようとしていますが、パンダを使用して1日の各ポイントで個別に実行しています。
私は統計家ではなく、この種の仕事を考えたりコーディングしたりするのは得意ではありませんが、これが私のやりたいことをやるという不器用な試みです。マルチインデックスと適切な反復を使用して、これを行うためのより良い方法があることを知っているので、私は本当にそれを改善する助けを探していますか?しかし、私は「時間軸」全体でこれを行うのに苦労しました。
def sliding_window(run,data,type='mean'):
data = data.asfreq('30T')
for x in date_range(run.START, run.END, freq='1d'):
if int(datetime.strftime(x, "%w")) == 0 or int(datetime.strftime(x, "%w")) == 6:
points = data.select(weekends).truncate(x - relativedelta(days=run.WINDOW),x + relativedelta(days=run.WINDOW)).groupby(lambda date: minutes(date, x)).mean()
else:
points = data.select(weekdays).truncate(x - relativedelta(days=run.WINDOW),x + relativedelta(days=run.WINDOW)).groupby(lambda date: minutes(date, x)).mean()
for point in points.index:
data[datetime(x.year,x.month,x.day,point.hour,point.minute)] = points[point]
return data
run.START、run.END、およびrun.WINDOWは、データ内の2つのポイントと45(日)です。私はこのコードをよく見つめているので、他の人にとって何が意味があるのかわかりません。他のことを明確にするために質問してください。
解決済み:(解決策はクルーバムの好意による)
予想通りばかげて速くなる変更された関数:
def sliding_window(run,data,am='mean',days='weekdays'):
data = data.asfreq('30T')
data = DataFrame({'Day': [d.date() for d in data.index], 'Time': [d.time() for d in data.index], 'Weekend': [weekday_string(d) for d in data.index], 'data': data})
pivot = data.pivot_table(values='data', rows='Day', cols=['Weekend', 'Time'])
pivot = pivot[days]
if am == 'median':
mean = rolling_median(pivot, run.WINDOW*2, min_periods=1)
mean = rolling_mean(pivot, run.WINDOW*2, min_periods=1)
return DataFrame({'mean': unpivot(mean), 'amax': np.tile(pivot.max().values, pivot.shape[0]), 'amin': np.tile(pivot.min().values, pivot.shape[0])}, index=data.index)
unpivot関数:
def unpivot(frame):
N, K = frame.shape
return Series(frame.values.ravel('C'), index=[datetime.combine(d[0], d[1]) for d in zip(np.asarray(frame.index).repeat(K), np.tile(np.asarray(frame.ix[0].index), N))])
slide_meanのcenter=Trueは現時点では壊れているようです。機会があれば、githubにファイルします。