1

LDA を使用して、A と B という 2 つのテキスト ドキュメントのトピック モデルを構築しました。ドキュメント A はコンピューター サイエンスとの関連性が高く、ドキュメント B は地球科学との関連性が高いと言えます。次に、次のコマンドを使用してldaをトレーニングしました：

     text<- c(A,B) # introduced above
     r <- Corpus(VectorSource(text)) # create corpus object
     r <- tm_map(r, tolower) # convert all text to lower case
     r <- tm_map(r, removePunctuation) 
     r <- tm_map(r, removeNumbers)
     r <- tm_map(r, removeWords, stopwords("english"))
     r.dtm <- TermDocumentMatrix(r, control = list(minWordLength = 3))    
     my_lda <- LDA(r.dtm,2)

my_lda を使用して、C などの新しいドキュメントのコンテキストを予測し、それがコンピューター サイエンスまたは地球科学に関連しているかどうかを確認したいと考えています。このコードを予測に使用するかどうかはわかっています

     x<-C# a new document (a long string) introduced above for prediction
     rp <- Corpus(VectorSource(x)) # create corpus object
     rp <- tm_map(rp, tolower) # convert all text to lower case
     rp <- tm_map(rp, removePunctuation) 
     rp <- tm_map(rp, removeNumbers)
     rp <- tm_map(rp, removeWords, stopwords("english"))
     rp.dtm <- TermDocumentMatrix(rp, control = list(minWordLength = 3))    
     test.topics <- posterior(my_lda,rp.dtm)

ラベル 1 または 2 が付けられますが、1 または 2 が何を表しているのかわかりません... それがコンピューター サイエンス関連または地球科学関連を意味する場合、どうすればわかりますか?

4

1 に答える 1

2

LDA トピックモデルから最も可能性の高い用語を抽出し、それらのブラックボックスの数値名を必要な数だけ置き換えることができます。あなたの例は再現できませんが、これを行う方法を示す例を次に示します。

> library(topicmodels)
> data(AssociatedPress)
> 
> train <- AssociatedPress[1:100]
> test <- AssociatedPress[101:150]
> 
> train.lda <- LDA(train,2)
> 
> #returns those black box names
> test.topics <- posterior(train.lda,test)$topics
> head(test.topics)
              1           2
[1,] 0.57245696 0.427543038
[2,] 0.56281568 0.437184320
[3,] 0.99486888 0.005131122
[4,] 0.45298547 0.547014530
[5,] 0.72006712 0.279932882
[6,] 0.03164725 0.968352746
> #extract top 5 terms for each topic and assign as variable names
> colnames(test.topics) <- apply(terms(train.lda,5),2,paste,collapse=",")
> head(test.topics)
     percent,year,i,new,last new,people,i,soviet,states
[1,]              0.57245696                0.427543038
[2,]              0.56281568                0.437184320
[3,]              0.99486888                0.005131122
[4,]              0.45298547                0.547014530
[5,]              0.72006712                0.279932882
[6,]              0.03164725                0.968352746
> #round to one topic if you'd prefer
> test.topics <- apply(test.topics,1,function(x) colnames(test.topics)[which.max(x)])
> head(test.topics)
[1] "percent,year,i,new,last"    "percent,year,i,new,last"    "percent,year,i,new,last"   
[4] "new,people,i,soviet,states" "percent,year,i,new,last"    "new,people,i,soviet,states"
于 2013-05-20T23:27:14.640 に答える