問題タブ [missing-data]

NAレベルのRに係数があります。

<NA>その要因をレベルでサブセット化するにはどうすればよいですか? 私が試した両方の方法はうまくいきませんでした。

これ欲しい：

そしてna.action=na.pass、boxplot に渡すと、グループ名に NA が表示されると思いました。サンプルコードは次のとおりです。

しかし、それはこれを生成します:

私が望むものを取得する「簡単な」方法は次のコードですが、探索的データ分析には適していません。

そこにいる R Guru からのヒントはありますか? このより一般的な議論から、na.pass について知ることができました。また、na.pass の起源については、Ripley 教授からここで聞くことができました。しかし、因子によって分割されるデータに現れる欠損データ (NA) と、因子自体の欠損データとの間に区別はないようです。何か単純なものが欠けているのでしょうか、それともこれは機能リクエストのようなものですか?

私は大規模なデータセットに取り組んでおり、一部の行にはNAがあり、他の行には空白があります。

NAとブランクを一度に（start_pc列とend_pc列で）削除するにはどうすればよいですか？私は過去に使用しました：

... NAを削除する-空白を削除する同様のコマンドはありますか？

scikit-learn に欠損値を持つことは可能ですか? それらはどのように表現されるべきですか？それに関するドキュメントは見つかりませんでした。

次のようなデータ フレームがあるとします。

ここで、2 つの変数の組み合わせごとに有効な観測値の数を数えたいと思います。そのために、関数を書きましたsharedcount：

これにより、次の出力が得られます。

すべて問題ありませんが、関数自体は大きなデータフレーム (600 の変数と約 10000 の観測) ではかなり時間がかかります。特に cor(...,use='pairwise') は、似たようなことをしなければならないのに、まだずっと速く実行されているので、私はより簡単なアプローチを監督していると感じています:

どんなヒントでも大歓迎です。

注: Vincent のトリックを使用して、同じデータ フレームを返す関数を作成しました。以下の私の答えのコード。

R（R2OpenBUGS）を介してOpenBUGSを使用して、観測「時間」を確率変数としてモデル化しようとしています。すべての観測時間が利用可能である（NAがない）場合、すべてが機能しますが、いずれかの時間をNAに設定すると、何も起こりません。WinBUGSで同じコードをテストしたところ、トラップエラー「NIL逆参照（読み取り）」が発生しました。だから私の質問は、私のコードに本当に何か問題があるのか​​、それとも私のモデルがバグに対してあまりにも奇妙なのかということです。

私のモデルは次のようなものです。

そして、Rコードは次のようになります。

MySQL に 2 つのテーブルがあり、次の属性と比較しています。

これらのテーブルは Chemical_id (多対多---- うーん) で結合され、数千の facility_id と、各施設 ID に対して数百のchemical_id があります。また、数千の sample_id があり、それぞれが各 sample_id に対して数百の Chemical_id を持っています。全体として、tbl_fac には約 500,000 のレコードがあり、tbl_samp には 1,000,000 以上のレコードがあります。

このデータセットから sample_id の 3 つのグループを抽出しようとしています。

グループ 1: tbl_samp.result > tbl_fac.criteria (つまり、結果が基準を超える) の任意の sample_id

グループ 2: tbl_samp.result < tbl_fac.criteria の任意の sample_id であり、かつすべての tbl_fac.chemical_id がその sample_id に対して存在する (すなわち、結果が基準未満であり、すべてがそこにある)

グループ 3: tbl_samp.result < tbl_fac.criteria である任意の sample_id、しかし sample_id で 1 つ以上の tbl_fac.chemical_id が欠落している (つまり、結果は基準よりも小さいが、何かが欠落している)

質問は次のとおりです。3 つのグループすべてを 1 つのクエリで効率的に取得するにはどうすればよいですか?

私はもう試した：

ただし、これはデータセット全体 (個々のサンプルではなく) に欠落している値のみを生成します。私は tbl_fac と tbl_samp を結合するために 3 番目のテーブルを使用するハック クエリを実行していますが、それは非常に醜いので、実際に投稿するのは恥ずかしいです....

いつものように、これについてのご意見をお寄せいただきありがとうございます。

乾杯、

ジョシュ

編集:理想的には、sample_id と Group が返されることを望んでいます。サンプル ID ごとに 1 つの Group のみが返されます (データに関する私の知識では、それらは常に上記の 3 つのカテゴリのいずれかに分類されることが示されています)。

64 ビットの Amazon EC2 インスタンス (ジャーナリングが有効) で MongoDB サーバーを実行しています。昨日、いくつかのドキュメントを更新し、Web ページを更新して、変更が反映されていることを確認しました。やった。しかし今日、昨日の変化がなくなっただけではないことがわかりました。1週間の更新を失いました！これはなぜですか? また、失われたデータを回復することは可能ですか?

変更の仕方が間違っているのではないでしょうか？

Rに動物園のオブジェクトがあり、毎日のデータがあり、週末がありません。ar()オブジェクトに対していくつかの関数（たとえば）を実行しようとすると、次のエラーが発生します。

私が行った場合：

動物園が物事をtsに変換しようとすると、週末が本質的に欠落しているため、これは理にかなっています。coredata(zoo_object)それを使用して実行することをベクトルに変換する以外に、ar()Rに欠落データをスキップするように指示する方法はありますか？

ありがとう

複数の被験者からのデータを含むRデータフレームがあり、それぞれが数回テストされています。セットの統計を実行するために、サブジェクト (「id」) の係数と各観測の行 (係数「セッション」によって指定) があります。いえ

上記の例で、「メジャー」列の id==2 の行の 1 つに NA が含まれている場合、id==2 のすべての行を削除する簡単な方法はありますか?

より一般的には、実際には各被験者に多くのメジャー (列) と 4 つのセッション (行) があるため、(少なくとも) 与えられたレベルの「id」要素を持つすべての行を削除するエレガントな方法はありますか?この「id」レベルの行の 1 つは列に NA を含んでいますか?

現在のソリューションよりもエレガントにこの問題を解決できる組み込み関数が存在する可能性があるという直感があります。

ありがとう、ジョナス