問題タブ [mixed-models]

Rパッケージ「geepack」でGEEモデルを計算しようとしています。応答変数は比例し、(成功、失敗) としてコード化されます。説明変数は、Weight(cont)、Rank(cont)、ColonySize(cont)、Sex(factor) です。データ セットには、413 日間の研究期間にわたって同じ個人の行動測定が繰り返されたため、観察の一時的な非独立性が含まれています。この非独立性は、AnimalID と観測日 (Ndate) を指定する列に反映されます。データ セットはそれほど大きくなく、165 人の異なる個人に関する 1062 の観測値が含まれています。完全な調査期間は 413 日間です (つまり、Ndate の範囲: 1 ～ 413)。

上記のモデルは、問題なく、顕著な遅延もなく計算されます。ただし、観測値は調査期間にわたって規則的に分布していません (以下の Ndate の完全なベクトルを参照)。これは、モデルの出力が意味をなさないことを意味します。時間的自己相関を正しく説明するためにモデルに波引数を含めると、R が動かなくなるか、このモデルの計算に非常に時間がかかるように見えますが、実際にはそれほど時間はかからないはずです。R-Gui が「(応答なし)」を 1 時間以上表示し、小さな円 (Win7) が R がビジーであることを示します。タスク マネージャーによると、CPU 使用率はほとんどが 25 ～ 30% で、最大で 50% になることもあります。私の質問は次のとおりです。「波」を指定するときに間違いを犯しましたか Rがハングする原因となる関数ですか、それともこのプロセスが非常に集中的に計算されるのは正常ですか? (以下の変数 Ndate の抜粋を参照)

波の引数を含むモデル:

2 番目の質問は、この GEE とその自己相関構造に関するより基本的なものです。モデルは、1 人の個人の繰り返し観測が通常 5 ～ 15 回ですが、その間の時間が大きく変化する (場合によっては数回しかない) この種の時間的自己相関を処理できますか?日、場合によっては 100 日以上）。教科書の例はすべて非常に異なって見えますが、原則は同じはずです。

どうもありがとう。

[1045] 393 393 393 393 393 393 399 397 397 397 392 392 392 392 407 407 400 400 [1063] 413 413

私は SAS で LMM を使用しています。いくつかの回帰係数の線形結合の推定値 (および p 値) を取得したいと考えています。モデルは次のとおりです。

b0+b1時間+b2X1+b3X2+b4(時間*X1)

そして、b1+b4 の推定値と p 値を取得したいとします。

私は何をすべきか？

R's lmeまたはlmer関数(または の別のランダム効果ルーチン) でランダム効果の分散を一定に保つことができるかどうか、Rまたは少なくとも開始値を提供できるかどうか疑問に思っていました。

これは、 のparmsステートメントを使用して SAS で実行できるようPROC MIXEDです。Selyaらによる論文で。(2012)著者はこれを使用して、単純な固定効果構造を持つモデルの分散パラメーターを完全なモデルの分散パラメーターに設定します。

彼らが使用する PROC MIXED 内の特定の呼び出しは、parms/parmsdata = fullmodel.AB hold = ... 彼らの目標は、さまざまな固定効果構造を持つモデル間で分散推定値を一定に保つことです (ただし、これが SAS または R のいずれかで本当に可能かどうかは疑問です)。

PROC MIXED を使用して混合効果モデルを構築します。私の PROC MIXED には、統計分析を生成し、バイナリ ファイル形式で保存する 'STORE' ステートメントがあります。( http://support.sas.com/documentation/cdl/en/statug/63347/HTML/default/viewer.htm#statug_mixed_sect022.htm )

コードは次のようになります。

とにかくこのファイル（plm）にアクセスできるかどうか疑問に思っています。

乾杯

3 つの固定効果変数を持つ 480.000 エントリの比較的大きなデータ フレームでロジスティック回帰を実行する必要があります。固定効果変数 A には 3233 レベル、変数 B には 2326 レベル、変数 C には 811 レベルがあります。全体として、6370 の固定効果があります。データは横断的です。glm回帰行列がメモリに対して大きすぎるため、通常の関数を使用してこの回帰を実行できない場合(メッセージ " Error: cannot allocate vector of size 22.9 Gb" が表示されます)。Macbook Air (OS X 10.9.5 8GB RAM) でこのリグレッションを実行する別の方法を探しています。16GB RAM のサーバーにもアクセスできます。

私はいくつかの異なる方法で問題を解決しようとしましたが、これまでのところ満足のいく結果にはなりませんでした:

lfe/felm :lfeパッケージのフェルム回帰関数を使用して、回帰を実行する前に固定効果を減算します。これは完全に機能し、わずか数分で上記の回帰を通常の線形モデルとして実行できました。ただし、lfeロジスティック回帰と glms はサポートしていません。したがって、フェルムはさまざまなモデルに適合するモデルについてのアイデアを得るのに最適でしたが、最終的なロジスティック回帰モデルでは機能しません。

biglm/bigglmbigglm :関数をより管理しやすいチャンクに分割するために使用することを考えました。ただし、いくつかのソース (例: link1、link2、link3) それが機能するためには、因子レベルがチャンク全体で一貫している必要があることに言及してください。つまり、各チャンクには、各因子変数の各因子が少なくとも 1 つ含まれている必要があります。因子 A と B には 1 回しか現れないレベルが含まれているため、セットを一貫したレベルで異なるチャンクに分割することはできません。固定効果 A の 10 個の因子と B の 8 個の因子を削除すると (小さな変更)、残りは 4 レベル以上の因子のみになり、データを 4 つのチャンクに分割することで、より管理しやすくなります。ただし、480.000 エントリが 4 つのチャンクにソートされ、3 つの因子のそれぞれの各因子レベルが少なくとも 1 回出現するように、df をソートする方法を理解する必要があります。

GlmmGS/glmgs : 同名のパッケージ内の関数は、「Gauss-Seidel」アルゴリズムを使用したロジスティック回帰glmmgsのパッケージのような固定効果減算を実行します。lfe残念ながら、パッケージは開発されていません。R に比較的慣れておらず、統計に関する深い経験がないため、出力を理解できず、通常の「効果の大きさ」、「モデルの適合性」、「 glm 回帰サマリーが提供する有意間隔」指標。

パッケージの作者にメッセージを送りました。彼らは親切に次のように答えました。

このパッケージは、glm オブジェクトと同じ形式の出力を提供しません。ただし、現在の出力が与えられると、ほとんどの適合統計 (推定値の標準誤差、適合度) を簡単に計算できます (CRAN バージョンでは、現在の出力は係数の推定値のベクトルであり、関連するベクトル標準誤差の; 共分散成分についても同じですが、ランダム効果なしでモデルを適合させる場合は、それらについて心配する必要はありません)。標準誤差の計算に使用される共分散行列は、Gauss-Seidel アルゴリズムに関連付けられた精度行列の対角ブロックの逆数であるため、同時尤度の標準誤差を過小評価する傾向があることに注意してください。私はもはやパッケージを保守していません。特定の詳細に入る時間がありません。 マニュアルで参照されている紙、他のすべてはペンと紙であなたが解決する必要があります:)。

統計の教育を受けていない人がそれを理解できるように「ほとんどの適合統計を簡単に計算する」方法を誰かが説明できる場合 (不可能かもしれません)、またはこれがどのように行われるかの例を示す R コードを提供することができれば、私はとても感謝しております！

Revolution Analytics : Mac で Windows 7 をシミュレートする仮想マシンに Revolution Analytics Enterprise をインストールしました。プログラムには、RxLogit大規模なロジスティック回帰用に最適化されたという関数があります。RxLogit私が得る関数を使用するthe error (Failed to allocate 326554568 bytes. Error in rxCall("RxLogit", params) : bad allocation)と、その関数もメモリの問題に遭遇しすぎているようです。ただし、このソフトウェアを使用すると、分散コンピューティング クラスターで回帰を実行できます。したがって、大量のメモリを備えたクラスターでコンピューティング時間を購入することで、「問題を殺す」ことができました。しかし、革命分析プログラムは、私が知らない数式や方法を提供するのではないかと思いlfeますbigglm.

MatrixModels/glm4 : ある人は、計算を高速化するために、属性を持つパッケージのglm4関数を使用することを提案しました。すべての固定効果で回帰を実行すると、 「エラーが発生します。固定効果変数 B または A と C のみで実行すると、計算が機能し、オブジェクトが返されます。出力を標準的な方法ではうまくいかないように見えるので、私にとっては理にかなっているフォームです。MatrixModelssparse = TRUEglm4"Error in Cholesky(crossprod(from), LDL = FALSE) : internal_chm_factor: Cholesky factorization failed"glpModel"glmmGSsummary()

上記の問題のいずれか、またはメモリの制約がある R で複数の大きな固定効果を使用してロジスティック回帰を実行するためのまったく異なるアプローチについてアドバイスをいただければ幸いです。

Rパッケージ「lme4」のglmerを使用して、ポアソン一般化混合モデルを使用して、鳥の種の豊富さをモデリングしています。私のデータの例:

"abund" は、その地点で毎年検出された鳥の最大数のカウント データです。"point_id" は調査ポイントの名前です。因子観測レベルの共変量は、ポイントが 1 年間に何回訪れたかを示し、「年」は観測の年を示します。いくつかの例外を除いて、1 年に各ポイントの存在量 (行) は 1 つだけです。

私のモデルの仕様は次のとおりです。

これまでのところ、診断のために、パッケージ「aods3」のgofを使用してモデルの過分散をチェックし、ランダム効果のQQプロットを調べ、固定効果を含むモデル（私は1つしか持っていません）を、 "lmerTest" の anova コマンドを使用したランダム効果構造。このモデルはわずかに分散不足であり、AIC または anova 基準のいずれかを使用してヌル モデルよりも高くランク付けされています。

最終モデルの R^2 を計算しようとしています。https://ecologyforacrowdedplanet.wordpress.com/2013/02/26/r-squared-for-mixed-models/のブログ エントリとそれに続く投稿の更新、および関連する原稿を読み、MuMIn パッケージを限界および条件付き R^2 の計算に使用します。ただし、r.squared.GLMM(Model) を使用しようとすると、次のエラーがスローされます。

さらに: 警告メッセージ:

エラーの原因を特定するために、point_id と visit_per year なしでモデルを実行しようとしましたが、これらの共変量が含まれていないと同じエラーがスローされます。このエラーは正確には何を意味していますか? 観察項を手動でモデルに追加するにはどうすればよいですか? MuMIN のドキュメントを読みましたが、1) エラーの正確な意味と 2) 修正方法について途方に暮れています。どんな助けでも大歓迎です。データセット全体を提供しないと再現可能な例を作成できないと思いますが、このエラーの正確な意味を知っていると、途中で役立ちます。

アップデート：

エラー メッセージといくつかの説明の推奨事項 (スタック オーバーフローに感謝します!) で、個人レベルの効果を手動でモデルに含めました。今、私は別のエラーが発生します:

これは、固定効果の予想されるベータがゼロに近すぎるということですか?

混合効果モデルを適合させ、そのモデルを使用して、異なるレベルを持つ可能性のある新しいデータセットの推定値を生成しようとしています。新しいデータセットの推定では、推定されたパラメーターの平均値が使用されると予想していましたが、そうではないようです。最小限の作業例を次に示します。

この例では、基本的に、異なる回帰式 (勾配 1、1.5、および 0.5) を持つ 3 つのグループを定義しています。ただし、未知のレベルで新しいデータセットを予測しようとすると、一定の推定値が得られます。この新しいデータの予測を生成するために、勾配と切片の期待値が使用されることを期待していました。私は間違ったことを期待していますか？または、コードのどこが間違っていますか?

これは、複数の測定値を取得する一部のオペレーターのランダム効果を考慮して、glm を実行しようとしているサブセット データセットです。

次のように (lme4 から) glmer を使用して最初の glm を実行すると:

このエラーメッセージしか表示されません

2 番目の変数に対して 2 番目の glm を実行すると、

次に、この他のメッセージを取得します。

3番目の変数に対して実行すると

それでうまくいくように見えますが、それは本当ですか？この分析が機能していないデータの分布には何かがあるはずです。誰でもアイデアがあり、それを回避する方法を提案できますか?

実行することでそれを回避する方法を見つけたかもしれません

これは 3 つの変数すべてで正常に動作するようですが、結果は glmer と lme の間で data$var3 に対して少し異なり、この時点で自分の結果を信頼していません。これらのエラーが発生する理由がわかりません.SOや他のサイトで見つけたすべての説明は、私にはあまり意味がありません. データは非常に単純ですが、なぜこれが機能しないのですか? lme の使用は適切ですか? どうもありがとう

Rで使用してGLMMを実行していますglmer():

ここで、生き残りは、ネストが成功したかどうかに応じて 0 または 1 です。ここでは、データがどのように見えるかを確認できます。

しかし、次の警告メッセージが表示されます。

同じモデルの固定効果として同じ確率因子を使用してはならないと言われました。

最後に、年、サイト、およびインタラクション年:サイト効果を確認できる出力が必要です。ANOVA表のように（これは可能ですか？私は使用しようとしましたsummary(aov(model))が、これは機能しませanova(model)ん。どちらも機能しません。

aov()コマンドで次のエラーが発生します。

この変数が生存率に与える影響をどのように確認できますか?

私は DV (従属変数) として一定の値を持っており、BMI が DV に与える影響に興味があります。DV について複数の観察結果がある (つまり、すべての被験者が 5 回応答する) ため、混合モデル (各 ID の反復測定) を当てはめたいと考えました。

だから私がしたことは：

1. Bodo Winters チュートリアルを使用して、複雑なモデルと単純なモデルの違いを計算します。

2. 使用するlmerTest

さて、結果は大きく異なり、その理由はわかりません。

1. /li>

ここで、私の結果は非常に重要です

2. /li>

ここで、私の結果はまったく重要ではありません。申し訳ありませんが、再現可能な例を提供できません。この不一致は BMI 効果でのみ発生し、関心のある他の効果では発生しません. だから今、私は疑問に思っています: なぜ何か提案がありますか? どこかで間違いを犯したのでしょうか?

ここに私が得る出力があります

と