1

次のコードを読んで doc2vec モデルを学習しました。各ドキュメントは、2 行間のテキスト/行として定義されています。

  • 手がかりweb09-ja0001-XX-XXXXX
  • end_clueweb09-ja0001-XX-XXXXX

これは私のコードです:

 path='/home/work/Step2/test-input/html'


alldocs = []  # will hold all docs in original order


for fname in os.listdir(path):
    with open(path+'/'+fname) as alldata:
        for line in alldata:
            docId= line
            print docId
            context= alldata.next()
            #print context
            tokens = gensim.utils.to_unicode(context).split()
            end=alldata.next()
            alldocs.append(LabeledSentence(tokens[:],[docId]))

model = Doc2Vec(alpha=0.025, min_alpha=0.025)  # use fixed learning rate
model.build_vocab(alldocs)
for epoch in range(10):
    model.train(alldocs)
    model.alpha -= 0.002  # decrease the learning rate
    model.min_alpha = model.alpha  # fix the learning rate, no decay

# store the model to mmap-able files
model.save(path+'/my_html_model.doc2vec')

しかし、model.docvecs['clueweb09-en0001-01-34238']を書いたときにエラーが発生しましたが、 model.docvecs[0]を書いたときに結果が得られました。

これは私が得たエラーです:

    Traceback (most recent call last):
  File "getLearingDoc.py", line 40, in <module>
    print model.docvecs['clueweb09-en0001-01-34238']
  File "/home/flashkar/anaconda/lib/python2.7/site-packages/gensim/models/doc2vec.py", line 341, in __getitem__
    return self.doctag_syn0[self._int_index(index)]
  File "/home/flashkar/anaconda/lib/python2.7/site-packages/gensim/models/doc2vec.py", line 315, in _int_index
    return self.max_rawint + 1 + self.doctags[index].offset
KeyError: 'clueweb09-en0001-01-34238'

私はpythonとgensimの経験がありません.どうすればこの問題を解決できるか教えてください.

4

1 に答える 1