問題タブ [missing-data]

以下の例のように、研究用航空機からのいくつかの素晴らしいデータを kml ファイルに入れました。標高プロファイルを確認すると、拡張されたデータがうまくプロットされていることがわかります。

私の問題: データに欠損値が含まれています。欠落しているデータの代わりに空を試してみると、拡張データはプロファイル フレームに表示されなくなります (gx 値ペアの浮動小数点の 1 つを削除して確認できます)。

あなたへの私の質問: GoogleEarth が欠損値なしでプロファイルを描画するようにするハックはありますか (つまり、中断されますか?) または、GE 開発者にフィードバックを提供する方法を知っていますか?

2つのテーブルとがtbl_fooあり、これらのテーブルをon-clauseでtbl_bar結合したいと思います。tbl_foo.foo_id = tbl_bar.foo_idただし、それぞれtbl_bar.baz_idに1つの行が必要ですtbl_foo.foo_id（そのようなエントリがtbl_bar存在しない場合でも）。このようなクエリを作成するにはどうすればよいですか？

スキーマと私の希望する結果についての詳細は以下にあります。

• 編集：各行にはとが必要です。foo_idbaz_id
• 編集2：以下に追加tbl_baz。

望ましい結果

テーブル：tbl_foo

テーブル：tbl_bar

テーブル：tbl_baz

SQLスキーマ

na.locf()パッケージに似たものを探していますが、以前の非値をzoo常に使用する代わりに、最も近い非値を使用したいと思います。いくつかのサンプルデータ:NANA

(3 は繰り越される)NAに置き換えます。na.locf

に設定するとna.locf( 5 は後方に繰り越されます):fromLastTRUE

しかし、最も近い非NA値が使用されることを望みます。私の例では、これは 3 を最初のNAに繰り越し、5 を 2 番目に繰り戻す必要があることを意味しNAます。

解決策をコード化しましたが、車輪の再発明ではないことを確認したかったのです。すでに何かが浮かんでいますか？

参考までに、私の現在のコードは次のとおりです。おそらく、他に何もないとしても、誰かがそれをより効率的にする方法を提案できます。これを改善するための明らかな方法が欠けているように感じます：

以下のsmciの質問に答えるには：

1. いいえ、どのエントリも NA にできます
2. すべてが NA の場合は、そのままにしておきます
3. いいえ。私の現在の解決策はデフォルトで左側の最も近い値ですが、問題ではありません
4. 通常、これらの行は数十万の要素であるため、理論的には上限は数十万になります。実際には、あちこちに数個しかなく、通常は 1 つです。

更新したがって、私たちはまったく別の方向に進んでいることがわかりましたが、これは依然として興味深い議論でした。皆さんありがとう！

私が使用している言語はRですが、質問に答えるために必ずしもRについて知っている必要はありません。

質問： グラウンドトゥルースと見なすことができるシーケンスと、最初のシーケンスのシフトバージョンであり、いくつかの値が欠落している別のシーケンスがあります。2つを揃える方法を知りたいのですが。

設定

ground.truth基本的に一連の時間であるシーケンスがあります。

ground.truth私が次のことをしているときと考えてください。

2番目のシーケンスobservationsがあります。これは値の20％が欠落している状態でground.truth シフトされています。

これらのベクトルをプロットすると、次のようになります（覚えておいてください、これらを時間と考えてください）。

私が試したこと。私がしたい：

• シフトを計算します（theLag上記の私の例では）
• idx次のようなベクトルを計算しますground.truth[idx] == observations - theLag

まず、私たちが知っていると仮定しtheLagます。ground.truth[1]必ずしもそうではないことに注意してくださいobservations[1]-theLag。実際、私たちground.truth[1] == observations[1+lagI]-theLagはいくつかのために持っていlagIます。

ccfこれを計算するには、相互相関（関数）を使用すると思いました。

ただし、これを行うと、最大でラグが発生します。0の相互相関、つまりground.truth[1] == observations[1] - theLag。しかし、これを明示的に確認してobservations[1] - theLagいない 例でこれを試しましたground.truth[1]（つまり、idx_to_keep1が含まれていないことを確認するために変更します）。

シフトtheLagは相互相関に影響を与えないはずなので（そうではありませんccf(x,y) == ccf(x,y-constant)か？）、後で解決するつもりでした。

おそらく私は誤解しています。なぜなら、その中にobservationsはそれほど多くの値がないからground.truthですか？を設定したより単純なケースでもtheLag==0、相互相関関数は正しいラグを識別できないため、これは間違っていると考えています。

誰かが私がこれについて取り組むための一般的な方法論を持っていますか、または役立つかもしれないいくつかのR関数/パッケージを知っていますか？

どうもありがとう。

SMOTEを使用してデータセットをオーバーサンプリングしています（クラスの不均衡の影響を受けます）。私の属性の中には整数値を持つものもあれば、小数点以下2桁しかないものもありますが、SMOTEは多くの小数点を持つ新しいインスタンスを作成します。そこで、この問題を解決するために、NumericCleaner Filterを使用して、必要な小数点以下の桁数を設定することを考えました。これは機能しているようですが、値が欠落しているという問題があります。欠落している値はそれぞれ0.0値に置き換えられます。データセットの欠落している値を使用して、モデルを評価する必要があります。では、NumericCleaner（または値を丸めることができる他のフィルター）を使用して、欠落している値を保持するにはどうすればよいですか？

Weka には、「ReplaceMissingValues」というフィルターがあり、各属性の平均を使用して、データセット内のすべての欠損値を置き換えることができます。特定のクラスに属する値の平均を使用して、特定の属性の欠損値を置き換えたいと思います。たとえば、バイナリ データセットでは、ポジティブ クラスに属するレコードのみで計算された平均値を使用して、ポジティブ クラスに属するレコードの属性の欠損値を置き換える方が正しいと思います。では、それを実現するにはどうすればよいのでしょうか。特定のクラスに属するレコードの値のみを置き換えるにはどうすればよいでしょうか?

Facebook でユーザーのすべての友達の現在の場所を取得しようとしていますが、実際の Facebook ページで「Lives in , . " このエラーの難しい部分は、おそらく ~30% のケースでしか発生しないことです。残りのケースでは、すべての正しい情報が取得され、権限がおそらく正しく設定されていることがわかります。

具体的には、私が使用している FQL コードは次のとおりです。

これと同じ問題は、javascript リクエストをグラフに直接行うときに発生したため、FQL の問題でもないようです。current_location が時々失敗して NULL を報告する理由を知っている人はいますか?

ありがとうございました。

matlab には、Knn アルゴリズムを使用して行列内の欠損値を置き換えることを許可する KnnImpute と呼ばれる関数があります。http://www.mathworks.it/help/toolbox/bioinfo/ref/knnimpute.htmlを見ると、マトリックスの列を検索することがわかりましたが、行に沿ってチェックしている隣人を検索したいと思います。それを許可する機能はありますか？必要なものを実現するための matlab コードはどこにありますか?

教師あり回帰問題を解決するために、まばらな入力データを使用してニューラル ネットワークをトレーニングする際に問題が発生しています。入力データに対して平均の正規化 (平均を減算してから標準偏差を除算) を実行すると、多くの NaN 値が得られます。誰かがこの種の問題を扱った経験があるかどうか疑問に思っています。まばらな入力データをスケーリングする正しい方法は何ですか?

ありがとうジョー

Mathematica には、欠損値のある行列「a」と、「a」と同じ次元の行列「b」があります。ab を計算したいのですが、'NA' で示される値が欠落している場合は、'NA' のままにしたいと思います。これで私を助けてもらえますか？「a」の次元は 100 万 X 300 であることに注意してください。

ありがとう！