問題タブ [loess]

非常に大きなデータセットを分析しようとしています (1,000 万行以上。OK、私の分野では大きいです)。次のコマンドを使用して、平滑化された回帰プロットを生成しようとしています。

これは現在 1 日以上実行されていますが、単一のコアで実行されています (他の 7 つはかなり退屈しています)。複数のスレッドで ggplot2 を使用して高速化する方法はありますか? ローカル回帰は、この種のことでは当然のことのようです。

Python で LOWESS 回帰の信頼区間を計算するにはどうすればよいですか? これらを、次のコードで作成された LOESS プロットに影付きの領域として追加したいと思います (statsmodels 以外のパッケージも問題ありません)。

ウェブブログSerious Statsから、以下に信頼区間を含むプロットの例を追加しました（Rのggplotを使用して作成されています）。

loess個々のプロットからの測定日の間でデータを補間するために使用しています。毎年、48 区画すべての毎日の解像度を取得したいと考えています。以下は私のデータセットからのサンプルです:

構造（list（Year = C（2012L、2012L、2012L、2012L、2012L、2012L、2012L）、2012L、2012L、2012L、2012L、2012L、2012L、2012L、2012L、2012L、2012L、2012L、2012L、 2012L), ジュリアン = c(150L, 153L, 157L, 165L, 173L, 179L, 186L, 193L, 201L, 208L, 226L, 150L, 153L, 157L, 165L, 173L, 179L,186L, 281L, 281L ), jdx = c(2.573770492, 2.625245902, 2.693879781, 2.831147541, 2.968415301, 3.07136612, 3.19147541, 3.311584699, 3.448852459, 3.568961749, 3.877814208, 2.573770492, 2.625245902, 2.693879781, 2.831147541, 2.968415301, 3.07136612, 3.19147541, 3.311584699, 3.448852459, 3.568961749, 3.877814208) , サイト = 構造 (c(1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L ), .Label = "東", class = "factor"), type = structure(c(1L, 1L, 1L, 1L, 1L,1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L), .Label = "b", class = "factor"), trt = 構造体(c(1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L), .Label = "a", class = "factor"), plot = c(1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 2L, 2L, 2L, 2L, 2L, 2L、2L、2L、2L、2L、2L)、vi = c(0.41、0.44、0.52、0.64、0.66、0.67、0.64、0.66、0.61、0.7、0.7、0.41、0.45、0.55、0.61、0.63、0.66 , 0.63, 0.64, 0.6, 0.7, 0.69)), .Names = c("year", "julian", "jdx", "site", "type", "trt", "plot", "vi") 、クラス = "data.frame"、row.names = c(NA, -22L))b", class = "factor"), trt = structure(c(1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L), .Label = "a", class = "factor"), プロット = c(1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L 、2L、2L、2L、2L、2L、2L、2L、2L、2L、2L、2L)、vi = c(0.41、0.44、0.52、0.64、0.66、0.67、0.64、0.66、0.61、0.7、0.7、 0.41, 0.45, 0.55, 0.61, 0.63, 0.66, 0.63, 0.64, 0.6, 0.7, 0.69)), .Names = c("年", "ジュリアン", "jdx", "サイト", "タイプ"," trt"、"plot"、"vi")、class = "data.frame"、row.names = c(NA, -22L))b", class = "factor"), trt = structure(c(1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L), .Label = "a", class = "factor"), プロット = c(1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L 、2L、2L、2L、2L、2L、2L、2L、2L、2L、2L、2L)、vi = c(0.41、0.44、0.52、0.64、0.66、0.67、0.64、0.66、0.61、0.7、0.7、 0.41, 0.45, 0.55, 0.61, 0.63, 0.66, 0.63, 0.64, 0.6, 0.7, 0.69)), .Names = c("年", "ジュリアン", "jdx", "サイト", "タイプ"," trt"、"plot"、"vi")、class = "data.frame"、row.names = c(NA, -22L))class = "factor"), plot = c(1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 2L, 2L, 2L, 2L, 2L, 2L, 2L, 2L, 2L 、2L、2L)、vi = c(0.41、0.44、0.52、0.64、0.66、0.67、0.64、0.66、0.61、0.7、0.7、0.41、0.45、0.55、0.61、0.63、0.66、0.63、0.64、 0.7, 0.69)), .Names = c("year", "julian", "jdx", "site", "type", "trt", "plot", "vi"), class = "data.frame "、row.names = c(NA, -22L))class = "factor"), plot = c(1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 2L, 2L, 2L, 2L, 2L, 2L, 2L, 2L, 2L 、2L、2L)、vi = c(0.41、0.44、0.52、0.64、0.66、0.67、0.64、0.66、0.61、0.7、0.7、0.41、0.45、0.55、0.61、0.63、0.66、0.63、0.64、 0.7, 0.69)), .Names = c("year", "julian", "jdx", "site", "type", "trt", "plot", "vi"), class = "data.frame "、row.names = c(NA, -22L))"type"、"trt"、"plot"、"vi")、class = "data.frame"、row.names = c(NA, -22L))"type"、"trt"、"plot"、"vi")、class = "data.frame"、row.names = c(NA, -22L))

収集されたデータの 3 つの季節 (2012 年から 2014 年) のそれぞれで、各プロットからデータを補間する必要があります。subset関数を使用して成功しました。私はユリウス日を使用していることに注意してください。ただし、この日付形式には特にこだわっていません。

質問: コードを自動化して、各プロット/年の組み合わせからデータを補間する方法はありますか? デザインnlsListを使った機能に沿って考えています。| year/site/type/trt/plot

2 番目の質問はpredict関数に関するものです。次のコードは、上で指定されたプロットのフィットされた vi 値を正常に表示します。

ただし、対応する x 値は元のユリウス日と同じではありません。
質問: 黄土モデルで使用されるユリウス日を表す予測値を取得するにはどうすればよいですか? これらの日付は、年/区画ごとに異なる場合があることに注意してください。

yシーケンスに対して 604800 ポイントを持つ ベクトルをプロットしようとしています: x=seq(from=1, to=604800). これは問題ではありませんが、プロットに黄土曲線を追加する必要があります。

私はこれを使用して試しましggplot2たが、これには永遠に時間がかかり、大規模なデータセットをプロットするのが苦手なことで有名です. R コードを参照してください。

私は今パッケージを使用しようとしましたbaseが、これも永遠にかかります:

これをより速く実行するために私ができることについて、他の誰かに何か提案はありますか? 私はこれを複数回行う必要があり、これまでのところ、1 つのプロットを約 15 分待っていて、まだ完了していません。

30000 回の観測でトレーニングした LOESS モデルを使用して標準誤差を予測しようとすると、 というメモリ エラーが発生しますError: cannot allocate vector of size 6.7 Gb。ただし、プロットにはこれが本当に必要です。悲しいことに、私は LOESS を使用する必要があるspan=1ため、メソッドを変更しないと、このパラメーターはオプションではありません。コードでエラーが発生しないようにするにはどうすればよいですか?

以下に MWE を作成しました。

これは StackOverflow での最初の質問なので、うまくいくことを願っています...

黄土モデルを 2 つの予測子に適合させようとしています。そのうちの 1 つはローカルに重み付けされ、もう 1 つはパラメトリックです。モデルが適合したら、非パラメトリック予測子の特定の値を条件として、パラメトリック予測子の回帰直線の傾きを取得したいと考えています。回帰直線の 2 つの値を使用してこの勾配を計算すると、勾配に対応する定数値を取得する必要があります。ただし、連続する 2 つの値ごとに勾配を計算すると、放物線によく似た曲線が得られます。ここに、この問題を紹介するためのコードがあります。

さて、このコードを実行すると、私が言ったように (近い) 放物線のプロットが得られます。私の意見では、それは非常に奇妙です。定量化エラーによるものと考えることができますが、何らかの形でランダムであり、値がはるかに小さいため、これは疑わしいと思います. 間違っているかもしれませんが、プロットには一定の線が表示されるはずです。一方、黄土モデルのパラメータも変更してみましたが、問題は解決しないようです。フォーラムでこのトピックを検索しましたが、同様の質問は見つかりませんでした。

よろしくお願いします。