問題タブ [lsa]

R で lsa パッケージを使用する方法を学習しようとしています。以下の例よりもはるかに大きなデータ セットを使用していますが、これは再現性を目的としています (このコードを自分のサイトに投稿したことに対するこの人物への小道具です。素晴らしいリソース）。

解決できないような奇妙なエラー メッセージが表示されます。

以下は、私がいじっているコードの一部です。

問題なくコーパスを生成でき、用語ドキュメント マトリックスに変換できます。dt.mat.lsa を定義すると、エラーが発生します。

トレースバックは次のとおりです。

したがって、私の主な質問は次のとおりです。

1. なぜこのエラーが発生するのですか?
2. このようなエラーを回避するためにコードを修正するにはどうすればよいですか?

ここで提供できるヘルプを事前に感謝します。これは私の最初の投稿なので、私の質問の質に関するフィードバックも大歓迎です!

Web をマイニングして、一連の用語 (エンティティ、名詞など) 間の階層関係を形成する必要があります。これは分類学の線に沿っていますが、固有名詞 (人) とエンティティを意味のある方法でリンクできるようにする必要があります。

例:

としてリンクする必要があります

これを行うにはどうすればよいですか？

私はsvdの例に従っていますが、最終的な行列の次元を減らす方法はまだわかりません:

しかし、reconそれでも同じ次元を持っています。これをセマンティック分析に使用する必要があります。

「LSAの紹介」という論文の例を再現しようとしています:LSA の紹介

例では、次の用語ドキュメント マトリックスがあります。

そして、SVD を適用すると、次のようになります。

これを再現しようとして、次の R コードを書きました。

同じ用語と文書のマトリックスを取得し、実際に同じ相関関係を取得しました。

しかし、行列に SVD を適用しようとしましたが、等しい値は固有値のみであり、論文で得られたものを取得できません。

何か不足していますか？

よろしくお願いします

編集：

この例では、次元が削減され、少ない固有値が削除されたと想定されています。私の問題は、SVD の後に得られる相関が例の相関と異なることです。

私は英語版ウィキペディアの実験に関するチュートリアルを読んでいて、LSA と LDA によって生成されたトピックの多くに、明らかに連結された複数単語の用語が含まれていることに気付きました。

誰かがこれがどこで行われるかを示すことができますか. gensim.scripts.make_wiki、gensim.corpora.wikicorpus、およびgenesis.utilsを見てきました。

scikit-learn サイトには、テキスト マイニングに適用された k-means の例があります。興味のある抜粋は次のとおりです。

(例へのリンク)

私の最初の質問は、km.cluster_centers_ に関するものです。各用語は実際にはディメンションであるため、用語ごとのクラスター中心値は、用語ディメンション内の各クラスターの「位置」です。各用語次元の特定の用語の値が高いほど、クラスタを表す用語の「強さ」を表すため、これらの値はソートされていますか? もしそうなら、その理由を教えてください。

第 2 に、このアルゴリズムは、クラスタリングの前に用語ドキュメント マトリックスに対して LSA を実行するオプションを提供します。これは、次元の直交性を通じて各クラスターの一意性に役立つと思いますか? または、これが行う他の何かがありますか？クラスタリングの前に SVD を実行するのは一般的ですか?

前もって感謝します！

gensim の word2vec は、単語間の類似度を計算できることを知っています。しかし、今はgensimで TF-IDF または LSA を使用して単語の類似性を計算したいと考えています。どうやってするの？

注: gensim で LSA を使用してドキュメントの類似度を計算するのは簡単です: http://radimrehurek.com/gensim/wiki.html