問題タブ [dimensionality-reduction]

したがって、約 16,000 の 75 次元データ ポイントがあり、各ポイントについて、k 個の最近傍を見つけたいと考えています (ユークリッド距離を使用して、現在は k=2 で簡単にできます)。

私が最初に考えたのは、これに kd ツリーを使用することでしたが、実際には、次元の数が増えるにつれてかなり非効率になることがわかりました。私のサンプル実装では、徹底的な検索よりもわずかに高速です。

私の次のアイデアは、PCA (主成分分析) を使用して次元数を減らすことですが、疑問に思っていました: これを適切な時間内に正確に解決するための巧妙なアルゴリズムまたはデータ構造はありますか?

私が現在直面している問題について、いくつかの提案を探しています。

イベントE1-E20が実行されるとトリガーされるS1-S100というセンサーのセットがあります。通常、E1 は S1-S20 をトリガーし、E2 は S15-S30 をトリガーし、E3 は S20-s50 などをトリガーし、E1-E20 は完全に独立したイベントであると仮定します。場合によっては、イベント E が他の無関係なセンサーをトリガーすることがあります。

各イベントを個別に分析するために、20 svm のアンサンブルを使用しています。私の機能は、センサー周波数 F1-F100、各センサーがトリガーされる回数、およびその他のいくつかの関連機能です。

センサー機能 (F1-F100) の次元を減らすことができる手法を探しています/またはすべてのセンサーを包含し、次元も減らすいくつかの手法 (ここ数日間、いくつかの情報理論の概念を探していました) . 平均化は考えていません。情報を失うリスクがあるため、最大化は良い考えです（良い結果が得られませんでした）。

誰かが私がここで欠けているものを提案できますか? 紙またはいくつかの開始アイデア...

前もって感謝します。

無次元化する必要がある変数H、W、P、 & (以下)の一連の結合方程式があります。T手動で行うのは難しいことが証明されているため、Mathematica でこれを達成する方法はありますか。

パラメータの単位: a = /H/単位時間; b = /H/単位時間; B = /H/単位時間; シータ = T/H/単位時間; ap = /P/単位時間; bp = /P/単位時間; アップ = /P/単位時間; v = /P/単位時間; L = W/P/単位時間; R = /T/単位時間; bt = /T/単位時間; ファイ = /T/単位時間; g = /W/単位時間; k = 定数。

おそらくヒルベルト曲線を使用して、ジオハッシュのようなインデックスを使用して地理空間情報を保存することを検討しています。私の質問は、そのようなインデックスでエリア クエリを分割する最善の方法に関するものです。

たとえば、この記事では、エリア クエリを複数のクエリに分割して、地域性の低い範囲をクエリすることを回避する方法を示しています (この画像を参照)。通常のジオハッシュのように Z 曲線を使用して 1 回のクエリで円形領域を検索する場合は、関心のある領域のほんの一部しかない左下象限全体をクエリする必要があります。

この場合、検索をいくつかのクエリに分割することをお勧めしますが、これを行う最善の方法に関する情報を見つけることができませんでした. このような範囲クエリを、元​​の領域をカバーする小さな範囲に分割するアルゴリズムはありますか?

大規模なデータセットで次元削減法（ここで説明：ランダム射影アルゴリズムの擬似コード）を使用しました。

ディメンションを1000から50に減らした後、各サンプルが次のようになる新しいデータセットを取得します。

[1751。-360。-2069。...、2694。-3295。-1764。]

負の特徴値が何を意味するのかわからないので、今は少し混乱しています。このようなネガティブな機能があっても大丈夫ですか？削減前は、各サンプルは次のようでした。

3、18、18、18、126..。

それは正常ですか、それとも私は何か間違ったことをしていますか？

n個のデータのデータセットがあり、各データは抽出された特徴のセットで表されます。一般に、クラスタリングアルゴリズムでは、すべての入力データが同じ次元（同じ数の特徴）を持つ必要があります。つまり、入力データXは、それぞれがd個の特徴を持つn個のデータポイントの*d行列です。私の場合、以前にデータからいくつかの特徴を抽出しましたが、各データに対して抽出された特徴の数はおそらく異なる可能性があります（つまり、データポイントに同じ数の特徴がないデータセットXがあります）。データが同じ次元である必要があるいくつかの一般的なクラスタリングアルゴリズムを使用してそれらをクラスタリングするために、それらを適応させる方法はありますか？

ありがとう

0と1の手書き数字の散布図を作成したいと思います（http://yann.lecun.com/exdb/mnist/）。私は4つのサンプル、つまり2つの0と2つの1を取りました。

各手書き数字は、次元1のクロス778マトリックスを持つピクセル値を持っています。

次に、これらの数字を2次元で散布図して、分離可能かどうかを確認します。

それらをRでプロットしてみましたが、最終的なプロットはポイントの混合にすぎません。各桁の散布図が他の桁と異なって見えるようにするには、どのようにプロットしますか。プロットしながら正しい方向に進んでいますか？

お知らせ下さい。

次のように、無向グラフを 2 次元平面に投影したいと考えています。

1. ユークリッド距離は段階的な距離を保持します (つまり、A と B の間の最短経路が C と D の間の最短経路よりも短い場合、A と B の間のユークリッド距離は A と B の間のユークリッド距離よりも小さくなります)。

2. ユークリッド距離とステップワイズ距離の最小差が最小化されます。理想的には、一意の最小値がない場合、ソリューションのセットが生成または記述されます。

これが不可能な場合、それを可能にするグラフの制約の最小セットは何ですか? 私は一般的に質問に興味がありますが、現時点では、最小値が削除された有限格子が必要です。

LDA を使用して多次元データを 2D マップに投影することは可能ですか? Matlab が提供するツールでは、そのような機能は提供されていないようです...

返信ありがとうございます。私のデータには現在 6 つのクラスがありますが、6 つのクラスがある場合、5 次元にしか縮小できないということですか? それとも、上位 2 つの固有値を取り、これら 2 つを投影に使用する PCA で同様の方法で実行できますか? PCA は、教師なしのアプローチとして私の問題に対してうまく機能しないため、LDA が役立つかどうか疑問に思っています。

次元削減のためのMatlabToolboxを使用して、一連の画像の寸法を削減しようとしています。問題は、次元削減についてほとんど知らないということです。したがって、データセットを関数に渡して、試行錯誤しながらそれぞれを試しています。これまでに6を試しましたが、PCAは複素数の行列を返していました。そして他は冷凍matlabでした。画像に適した画像縮小方法は何ですか？