問題タブ [unsupervised-learning]

教師なしクラスタリングで見つかったクラスター ラベルの予測可能性を評価することに興味があります。患者で構成されるデータセットがあり、教師なしクラスタリング手法を使用して、患者の遺伝子発現プロファイルに基づいて患者をグループ化するとします。私の方法では、4 つのクラスターが検出されます。ここで、このクラスター メンバーシップが発現データから予測可能かどうかを調べたいと思います。出力変数として完全なデータの教師なしクラスター ラベルを使用して、交差検証方法で教師あり分類器をトレーニングします。そこで、データの 80% を使用して分類器をトレーニングし、残りの 20% の精度を評価します。

出力クラスター ラベルは完全なデータから学習されるため、この方法は偏っていますか? もしそうなら、どうすれば偏りのない方法でこれを行うことができますか? 相互検証された方法でクラスタリングを行う場合、異なるフォールド間でクラスターを手動で関連付ける必要があると思います。4 つのクラスターのうちの 1 つと他のクラスターの予測可能性に特に関心があるため、何らかの手動分析を通じて、データの各フォールド クラスタリングに含まれるクラスターを特定する必要があります。

この論文で説明されているものと同様の畳み込みスパースコーディング手順を実装したかった: http://cs.nyu.edu/~ylan/files/publi/koray-nips-10.pdf torch) しかし、このような教師なし機能学習手順のチュートリアル/サポートが不足しているようです。著者は、この特定の記事は eblearn を使用して作成されたと述べていますが、教師なし学習手順は見つかりませんでした。この種のアルゴリズムを実装しようとした人はいますか?もしそうなら、彼はどのライブラリ/フレームワークを使用しましたか? どうも

Baum-Welch アルゴリズムを使用して、増加する状態数に対していくつかの隠れマルコフ モデルを作成しました。8 つの州の後、8 つ以上の州で検証スコアが下がっていることに気付きました。隠れマルコフモデルの精度は、ある種のオーバーフィッティングにより、状態数の増加に伴って低下する可能性があるのではないかと考えました。

前もって感謝します！

教師あり学習では、回帰や分類など、アルゴリズムを学習するための典型的なトレーニング/テストの分割があります。教師なし学習に関して、私の質問は次のとおりです。トレーニングとテストの分割は必要かつ有用ですか? はいの場合、なぜですか?

尤度を計算したい大きなマルコフ連鎖とサンプルがあります。問題は、サンプル内の一部の観測または遷移がマルコフ連鎖で発生しないことです。これにより、全尤度が 0 (または対数尤度 - 無限大) になります。これ以上のデータを使用してマルコフ連鎖を構築することはできません。有意義な可能性を維持する方法があるかどうか疑問に思っていました。

サンプル内のこれらの「不明な」観測を除外して、個別に報告しようとしました。しかし、それに関する問題は、サンプルの可能性を同じサンプルの可能性と比較したいということですが、変換後です。変換されたサンプルには、異なる量の「不明な」観測値があります。したがって、これら 2 つの可能性を比較することはできないと思います。異なる量の観測値で計算されているためです。

比較できる有意義な可能性を計算する方法はありますか? サンプル内の観測値の確率を平均化することを考えていましたが、それが正しいことについて何も見つかりません。

前もって感謝します！