問題タブ [expectation-maximization]

いくつかの3次元ポイントを初期化する必要があり、それらを立方体全体に等間隔に配置する必要があります。これを行うための創造的な方法はありますか？

反復期待値最大化アルゴリズムを使用しており、初期ベクトルが空間を均等に「スパン」するようにします。

たとえば、1x1x1のサイズの立方体に均等に配置したい8つのポイントがあるとします。大きい方の立方体の中央に、一辺の長さが0.333の立方体の角に点が必要です。

2Dの例を以下に示します。赤い点が互いに等距離にあり、エッジから離れていることに注意してください。3Dでも同じことが欲しいです。

ポイントの数に整数の立方根がない場合は、配置にいくつかの「ギャップ」を残して問題ありません。

現在、私はポイント数の立方根を取り、それを使用してポイント数とそれらの間の望ましい距離を計算しています。次に、ポイントを反復処理して、X、Y、およびZ座標をインクリメントします（Xが0にループバックするまで、Yがインクリメントしないようにずらして配置します。Yに関してはZも同様です）。

MATLABでこれを行う簡単な方法があれば、喜んで使用します。

クラスタリングには多くのアルゴリズムが利用可能です。一般的なアルゴリズムは K 平均法です。このアルゴリズムでは、指定された数のクラスターに基づいて、オブジェクトに最適なクラスターを見つけるために反復処理が行われます。

k-means クラスタリングでデータのクラスター数を決定するためにどの方法を使用しますか?

R で利用可能なパッケージにはV-fold cross-validation、適切なクラスター数を決定する方法が含まれていますか?

もう 1 つのよく使用されるアプローチは、期待値の最大化 (EM) アルゴリズムです。これは、各インスタンスに確率分布を割り当て、各インスタンスが各クラスターに属する確率を示します。

このアルゴリズムは R で実装されていますか?

そうである場合、クロス検証によって最適な数のクラスターを自動的に選択するオプションはありますか?

代わりに、他のクラスタリング方法を使用しますか?

R で期待値最大化アルゴリズムをプログラミングしています。計算を高速化するために、このボトルネックをベクトル化したいと考えています。N は k の約 100 倍であることを知っています。

この行列のリストもあります。

私は以下を使用して物事を少しスピードアップしました:

と：

ドキュメントクラスタリングに期待値最大化アルゴリズムを実装しようとしています。2つのドキュメント間の類似性を見つけるためにLuceneTermVectorsを使用することを計画しています。ナイーブベイズを使用するEMアルゴリズムには、多変量モデルと多項モデルの2種類があります。簡単に言うと、多項モデルはドキュメント内のさまざまな単語の頻度を使用しますが、多変量モデルはドキュメント内に単語が存在するかどうかの情報（ブールベクトル）を使用します。

Luceneの用語ベクトルには、現在のドキュメントに存在する用語とその頻度が格納されていることを私は知っています。これはまさに多項モデルに必要なものです。

ただし、多変量モデルには次のものが必要です。特定の用語の有無を格納するベクトル。したがって、すべてのドキュメントのすべての用語は、このベクトルによって処理される必要があります。

例として：

doc1：フィールドCONTENTには次の用語があります：これは喜びの世界です。

doc2：フィールドCONTENTには次の用語があります：この驚くべき世界は皮肉な人々でいっぱいです。

今、私が必要とするベクトルは

<これは素晴らしい完全な皮肉な人々の喜びの世界です>（それはすべての文書のすべての単語を含んでいます）

doc1の場合、このベクトルの値は<1 1 1 1 1 1 0 000>です。

doc2の場合、このベクトルのvakueは<1 1 0 1 0 0 1 111>です。

Luceneでそのようなブールベクトルを生成する方法はありますか？

ガウス分布の混合をフィッティングするために適用される EM アルゴリズムを知っています。k-meansMATLABで、で説明されているこのアルゴリズムの例はありますか?

私はこのmファイルを見つけました：

期待値最大化アルゴリズムを適用する前に、一連のデータ内で識別されるべきガウス分布の数を決定する方法のアルゴリズムまたはトリックはありますか?

たとえば、上記の 2 次元データのプロットで、期待値の最大化アルゴリズムを適用すると、4 つのガウス分布をデータに当てはめようとすると、次の結果が得られます。

しかし、データ内のガウス分布の数がわからない場合はどうなるでしょうか? この詳細を見つけるために適用できるアルゴリズムやトリックはありますか?

EMを使用して、2つのクラスのそれぞれのガウス分布の平均と共分散を推定する必要があります。それらにはいくつかの欠落している属性もあります。

各オブジェクトのクラスは既知です。したがって、問題は基本的に、要素が欠落しているガウスモデルをフィッティングすることになります。

使用するのに最適なライブラリはどれですか？

ECMアルゴリズムはEMアルゴリズムとどのように異なりますか？

優れたテキスト フィルタリングを備えた Naive-Bayes Document 分類を実装しました。統計結果を高い精度で受け入れました。EM アルゴリズムを使用して結果を強化する必要があります。

しかし、単純ベイズの結果に EM アルゴリズムを適用するか、データにアルゴリズムを適用して最初からやり直すかはわかりません。したがって、結果を比較できます。

どちらの場合も、この問題に関する EM アルゴリズムを理解する必要があります。

十分に説明されたドキュメントは高く評価されます

weka を使用して、JSP でデータベース内のツイートをクラスター化したいと考えています。GUI では、文字列クラスタリングに使用できるのは HierarchiccalClusterer と Filteredcluster だけです。次に、weka 公式 Web サイト ( https://svn.scms.waikato.ac.nz/svn/weka/trunk/wekaexamples/src/main/java/wekaexamples/clusterers/ClusteringDemo.java)からこの clusteringdemo サンプル コードを見つけます。

しかし、サンプル arff コードを weka ディレクトリにセットアップした後、「エラー: メイン クラス ClusteringDemo が見つからないか、ロードできませんでした」というエラーが表示されます。誰かが理由を見つけるのを手伝ってくれますか? 文 data = DataSource.read(filename); のファイル名のみを変更します。その上、すでにいくつかの分類子を行っているため、クラスパスは正しく設定されています。

期待値の最大化を行うためにオンラインで見つけたレシピを機能させようとしています( http://code.activestate.com/recipes/577735-expectation-maximization/ )。次のエラーが発生します。

アルゴリズムに何らかの欠陥があるに違いないか、間違った入力を与えていますが、何が問題なのかわかりません。エラーは減算によって引き起こされることがわかりましたx-m, but x.dtype=int64and m.dtype=float64, これはうまくいくと思います.

誰にもアイデアはありますか？