5

gensim で LDA を使用してドキュメントを推論する場合、TFIDF コーパスを使用するのか、単にコーパスを使用するのか疑問に思っています。

ここに例があります

from gensim import corpora, models
import numpy.random
numpy.random.seed(10)

doc0 = [(0, 1), (1, 1)]
doc1 = [(0,1)] 
doc2 = [(0, 1), (1, 1)]
doc3 = [(0, 3), (1, 1)]

corpus = [doc0,doc1,doc2,doc3]
dictionary = corpora.Dictionary(corpus)

tfidf = models.TfidfModel(corpus)
corpus_tfidf = tfidf[corpus]
corpus_tfidf.save('x.corpus_tfidf')

corpus_tfidf = corpora.MmCorpus.load('x.corpus_tfidf')

lda = models.ldamodel.LdaModel(corpus_tfidf, id2word=dictionary, num_topics=2)

#which one i should use from this   
**corpus_lda = lda[corpus]**          #this one 
**corpus_LDA = lda[corpus_tfidf ]**   #or this one?


corpus_lda.save('x.corpus_lda')

for i,j in enumerate(corpus_lda):
    print j, corpus[i]
4

1 に答える 1

7

Gensim のメーリング リスト(特に最後の投稿)によると、標準的な手順は、bag of words corpus を使用することです。TF-IDF コーパスを使用することもできますが、これがどのような効果をもたらすかは不明のようです。

于 2014-12-03T00:30:07.607 に答える