データ ウェアハウスから抽出した非常に大きなデータ セットがあります。lme4 を実行したいボックスにデータセットをダウンロードするには時間がかかります。データを共分散行列に処理し、そのデータ (はるかに小さい) をダウンロードし、それを lme4 へのデータ入力として使用できるかどうかを知りたいです。SAS を使用した重回帰モデルに対してこれと同様のことを行いましたが、lme4 に対してこのタイプの入力を作成できることを望んでいます。
ありがとう。
データ ウェアハウスから抽出した非常に大きなデータ セットがあります。lme4 を実行したいボックスにデータセットをダウンロードするには時間がかかります。データを共分散行列に処理し、そのデータ (はるかに小さい) をダウンロードし、それを lme4 へのデータ入力として使用できるかどうかを知りたいです。SAS を使用した重回帰モデルに対してこれと同様のことを行いましたが、lme4 に対してこのタイプの入力を作成できることを望んでいます。
ありがとう。
観測された共分散行列を使用してlmerモデルを近似する方法はわかりません。ただし、分析を高速化するためにデータセットのサイズを縮小することが目標である場合は、より簡単なアプローチが考えられます。たとえば、ランダム効果の条件付きモードが不要で、サンプルサイズが非常に大きい場合は、固定効果と共分散の推定値が得られるまで、モデルをデータの徐々に大きくなるサブセットに適合させてみてください。ランダム効果の行列'安定化'。このアプローチは私の経験ではうまく機能しており、他の人によって議論されています。
http://andrewgelman.com/2012/04/hierarchicalmultilevel-modeling-with-big-data/
別の引用があります:
「「複数モデル」アプローチに関連するのは、計算を高速化する単純な近似です。コンピューターはますます高速化していますが、モデルはますます複雑になっています。したがって、これらの一般的なトリックは引き続き重要かもしれません。単純で一般的なトリックは、破ることです。データをサブセットに分割し、各サブセットを個別に分析します。たとえば、85の郡のラドンデータをランダムに30、30、および25の郡の3つのセットに分割し、各セットを個別に分析します。」ゲルマンとヒル(2007)、p.547。