問題タブ [rolling-computation]

次の構造のデータ フレームがあるとします。

「DF」を次の構造のデータ フレームに変換する最も効率的な方法は何ですか?

w は、データフレーム「DF」を通過する長さ 2 のウィンドウです。ウィンドウの長さは任意である必要があります。つまり、長さが 3 の場合

データフレームには任意の数の列、つまり w、x、y、z などを含めることもできるため、この問題に少し困惑しています。

/edit 2: xts はデータ ポイントごとに複数の観測値を処理していないように見えるため、edit 1 は少し不合理であることに気付きました

3日間の相関を計算する必要があります。サンプル マトリックスを以下に示します。私の問題は、ID が毎日宇宙にあるとは限らないことです。たとえば、AAPL は常にユニバースに存在する可能性がありますが、会社 - CCL は私のユニバースに 2 日間しか存在しない可能性があります。ベクトル化されたソリューションをいただければ幸いです。相関行列のサイズが異なる場合があるため、ここでは structs/accumarrayなどを使用する必要があるかもしれません。

「3日間の相関」:

実際のデータは、1995 年から 2011 年までの Russel1000 ユニバースをカバーし、410 万行以上あります。望ましい相関関係は 20 日間です。

言語: C++

開発環境: Microsoft Visual C++

使用ライブラリ: MFC

問題:これは非常に単純なはずですが、頭で理解できません。特定の時間 (5 秒としましょう) のローリング平均を計算しようとしています。私のプログラムは毎秒、プロセス中の CPU アイドル時間などの数値情報を含むデータ メッセージを受信します。

5 秒間の平均 CPU アイドル時間をユーザーに表示できるようにしたいと考えています。配列だけを使用して 5 秒ごとに値を格納することを考えていましたが、ローリング部分を行う方法がわかりません。ローリング計算を行うための他の組み込み方法がない限り?

rollingローリングリグレッションを回避して手動でコーディングする必要がありますか？または、エントリが重複している巨大なパネルを作成して使用する方がよいstatsbyでしょうか？つまり、各ウィンドウに独自のbyエントリを指定します。RIでは、データを日付フレームのリストに事前に分割できます。これにより、後続の操作が高速化されると思います。

1か月前に最初にRからStataに切り替えたとき、Statalistでこれを尋ねたところ、長い時間がかかるはずだというコンセンサスが得られました。MataでOLSをコーディングおよびコンパイルしましたが、速度の向上は見られませんでした（実際にはわずかに悪化しています）。

これはローリング回帰が一般的な手法であり、Stataはかなり洗練されているようです。ほとんどの研究者はこれらの回帰を1日以上実行していますか？それとも、これらの計算にSASを使用していますか？たとえば、1975年から2010年までのCompustatデータベースで次のように実行します（約30,000回の回帰）。これには約12時間かかります。

実際の降雨データを日付と時刻として記録し、転倒バケツの雨量計に蓄積されたヒントの数を記録しています。傾斜バケットは、0.5mm の降雨量を表します。ファイルを循環して、強度の変動 (降雨量/時間) を決定したいので、複数の固定された時間枠にわたるローリング平均が必要です: したがって、5 分間の雨が蓄積されるまで降雨量を累積し、強度を mm/ 単位で決定したいと考えています。時間。したがって、3mm が 5 分で記録される場合、3/5*60 = 36mm/hr に等しくなります。10 分間の同じ降雨量は 18 mm/hr になります...

したがって、数時間にわたる降雨がある場合は、5、10、15、20、25、30、45、60 分など、いくつかの標準的な間隔で確認する必要がある場合があります。また、データは逆の順序で記録されます。生ファイルなので、最も早い時間がファイルの最後にあり、後の最後の時間ステップがヘッダーの後に最初に表示されます。 hr ただし、16:27 から 16:34 の間 967-961 = 6 本のチップ = 7 分で 3mm = 27.71mm/時間

助言がありますか？

直線関数 y = a*x + b(aとは既知の定数) が与えられると、直線とサンプルのウィンドウ(は最も古いサンプル、は最新のサンプル)bの間の平方和の距離を簡単に計算できます。(1, Y1), (2, Y2), ..., (n, Yn)Y1Yn

ローリング ウィンドウ (長さn) のこの値を計算するための高速なアルゴリズムが必要です。新しいサンプルが到着するたびにウィンドウ内のすべてのサンプルを再スキャンすることはできません。
明らかに、新しいサンプルがウィンドウに入り、古いサンプルがウィンドウから出るたびに、何らかの状態を保存して更新する必要があります。
サンプルがウィンドウを離れると、残りのサンプルの指数も変化することに注意してください。すべての Yx が Y(x-1) になります。したがって、サンプルがウィンドウを離れると、ウィンドウ内の他のすべてのサンプルが新しい合計に異なる値を与えます:(Yx - (a*(x-1) + b))^2の代わりに(Yx - (a*x + b))^2.

これを計算するための既知のアルゴリズムはありますか? そうでない場合は、1つ考えられますか？(一次線形近似のため、多少の誤差があっても問題ありません)。

私は単純に見えることをやろうとしていますが、少し難しいことを証明しているので、誰かが助けてくれることを願っています!
時系列の温度観測があります。

これにより、次が生成されます。

これは単なる例です。私のデータは長年にわたるものなので、データの完全な月平均を計算できます。
次にやりたいことは、上記で計算した 1 月の平均とのすべての 1 月 (個別) の差を計算することです。

日付/時刻クラスの使用から離れた場合、いくつかのループでこれを行うことができますが、R でこれを行うための「きちんとした」方法があるかどうかを確認したいですか? 何か案は？

メールアドレスとそれらのメールアドレスがテーブルに追加された日付のデータセットがあります。さまざまな日付の電子メールアドレスの複数のエントリが存在する可能性があります。たとえば、以下のデータセットがある場合。その日付から3日前までの間にある個別の電子メールの日付と数を取得したいと考えています。

3の期間を使用すると、結果セットは次のようになります。

以下のクエリを使用して日付範囲の明確なカウントを取得できますが、日ごとの範囲のカウントを取得しようとしているため、数百の日付の範囲を手動で更新する必要はありません。

複数の列を持つ xts オブジェクトに対してローリング線形回帰を計算する最も効率的な方法を見つけるのに問題があります。ここで、stackoverflow に関するいくつかの以前の質問を検索して読みました。

この質問と回答は近いですが、すべての回帰で従属変数を変更せずに多重回帰を計算したいので、私の意見では十分ではありません。ランダムデータを使用して例を再現しようとしました:

配列は、複数の変数 (残差、係数など) を経時的に因子ごとに格納するために作成されます。

data[, 1]ループが示すように、アイデアは、従属変数 (因子) を他の因子の 1 つに対して毎回使用して、30 観測のローリング回帰を実行することです。fastLmは標準化された残差を計算しないため、それらを標準化するために一時オブジェクトに 30 の残差を保存する必要があります。

xts オブジェクトの列 (因子) の数が約 100 ～ 1,000 列に増えると、ループが非常に遅くなり、面倒になります。大規模なデータセットに対してローリング回帰を作成するためのより効率的なコードがあることを願っています。

欠損データに対してローリング計算を実行したいと考えています。

サンプル コード: (わかりやすくするために、ローリング サムの例を示していますが、もっと一般的なことをしたいと考えています。)

これは以下を生成します:

「ローリング」中、データが欠落しているウィンドウは計算のために無視されていると思います。私は次の行に沿って結果を得ようとしています: