問題タブ [kernel-density]

R でのカーネル密度の推定について質問があります。(x、y、z) 位置、発生時間、いくつかのイベント (地震など) のサイズで構成される 5 次元データがあります (データセット)。5D カーネル密度推定を見つけるために、R で次のコードを書きました。

ここで、カーネル密度の推定を視覚化したいと思います。私は、1 つのプロットで 5 次元すべてに関するカーネルを (ポイントに異なる色またはサイズを使用して) 表示するか、少なくとも 3 次元に関して個別に表示することを好みます。何か提案はありますか？

データは次のとおりです。

4000 万行 (約 8Mb) のデータ セットがありますが、各行は float 型です。sklearn カーネル密度推定を使用して、このデータ セットをガウス カーネルに適合させたいと考えています。しかし、私の PC (4GB RAM、256GB SSD) では遅すぎます。では、sklearn kde は 100 万以上のサンプルを持つデータセットを処理できますか?

density2d の背後にある原理に関して、より一般的な質問があります。動物の動きを視覚化するためにggplotとdensity2d関数を使用しています。私のアイデアは、動物がほとんどの場合どこにいるかを示すヒート マップを計算したり、特に関心のある領域を特定したりすることでした。それでも、density2d 関数は、かなり説明のつかないプロットを生成することがあります。

これが私が意味することです：

次のようになります。

密度の推定値はあるがデータがない領域があります (x:50、y:300 付近)。

これと比較してください：

次のようになります。

ここには、密度推定値が「ない」領域がありますが、実際のデータがあります (x:100、y:550 付近)。

誰かが関連する質問をしました:
R の属性値の分布を使用してヒートマップを作成します (密度ヒートマップ
ではありません) が、満足のいく答えが見つかりません。

だから私の質問は（i）なぜですか？(ii) 可能であれば回避/調整する方法は?

ランダムなイベントを 1 時間間隔にリサンプリングするために使用pandas.DataFrame.resampleしていますが、間隔を 2 時間または 4 時間に増やしても消えないように見える非常に確率的な結果が見られます。Pandas には、平滑化を制御するための調整可能な帯域幅を持つガウス カーネル密度法のような平滑化された密度カーネルを生成するためのメソッドがあるかどうか疑問に思います。ドキュメントには何も表示されていませんが、開発者リスト サーバーに投稿する前にここに投稿することをお勧めします。Scikit-Learnには、私が必要としているガウス カーネル密度関数が正確に含まれているので、それを利用しようとしますが、Pandas への素晴らしい追加機能となるでしょう。

どんな助けでも大歓迎です！

カーネル密度推定に精通している人は、境界修正のための方法がいくつかあることを知っているはずです。ksdensity 関数には、[LU] 有界サポートの容量があります。では、私の質問は、「ここで使用される境界補正方法は何ですか?」ということです。反射またはくりこみ？

ベース R で「密度」関数を使用して、特定のデータ ベクトル (1-D) の KDE を生成しています。'density' 関数の引数 'n' は、等間隔に配置された n 個の点における確率密度推定値を返します。ポイントのカスタム リストでこの見積もりを取得する方法はありますか?

0.01パーセンタイルポイントごとに密度推定値が必要だと考えています。これにより、密度が高い場所ではポイントが近くなり、そうでない場合は遠くなり、PDF推定値がその時点でのPDF関数の信頼度に本質的に一致します。この x,y コレクションは保存され、モデル開発後のスコアリングに使用されます。

Python に精通している人は、この機能が scipy.stats.gaussian_kde.evaluate(..) で利用できることに気付くでしょう。