python - スペイシー レンマタイザーを使用して単語を基本的な形にする方法

Question

私はスペイシーを初めて使用し、そのレンマタイザー関数を使用したいのですが、基本的な形の単語の文字列を返す単語の文字列のように、それを使用する方法がわかりません。

例:

• '単語' => '単語'
• 「やった」=>「やった」

ありがとうございました。

Answer 1

コード :

import os
from spacy.en import English, LOCAL_DATA_DIR

data_dir = os.environ.get('SPACY_DATA', LOCAL_DATA_DIR)

nlp = English(data_dir=data_dir)

doc3 = nlp(u"this is spacy lemmatize testing. programming books are more better than others")

for token in doc3:
    print token, token.lemma, token.lemma_

出力:

this 496 this
is 488 be
spacy 173779 spacy
lemmatize 1510965 lemmatize
testing 2900 testing
. 419 .
programming 3408 programming
books 1011 book
are 488 be
more 529 more
better 615 better
than 555 than
others 871 others

参考例：こちら

Answer 2

Spacy バージョン 2.x を使用しています

import spacy
nlp = spacy.load('en_core_web_sm', disable=['parser', 'ner'])
doc = nlp('did displaying words')
print (" ".join([token.lemma_ for token in doc]))

そして出力：

do display word

それが役に立てば幸い ：）

Answer 3

私が使用した：

import spacy

nlp = en_core_web_sm.load()
doc = nlp("did displaying words")
print(" ".join([token.lemma_ for token in doc]))
>>> do display word

しかし、それは戻った

OSError: [E050] Can't find model 'en_core_web_sm'. It doesn't seem to be a shortcut link, a Python package or a valid path to a data directory.

私が使用した：

pip3 install https://github.com/explosion/spacy-models/releases/download/en_core_web_sm-2.2.0/en_core_web_sm-2.2.0.tar.gz

エラーを取り除くために。