問題タブ [lemmatization]

私は[コンピューターの]言語学者ではないので、このトピックで夕食のダミーを許してください.

ウィキペディアによると、見出し語化は次のように定義されています。

言語学における見出し語化 (または見出し語化) は、単語のさまざまな語形変化をグループ化して、1 つの項目として分析できるようにするプロセスです。

ここで私の質問は、セット {am, is, are} の任意のメンバーの見出し語化されたバージョンは「be」であるはずですか? そうでない場合、なぜですか？

2 番目の質問: R または Python でそれを取得するにはどうすればよいですか? 私はこのリンクのような方法を試しましたが、それらのどれも「ある」を与えられた「ある」を与えません。少なくともテキスト文書を分類する目的では、これは理にかなっていると思います。

また、ここにあるデモではそれができませんでした。

私は何をしていますか/間違っていると思いますか?

私は、Python、NLTK、および WordNetLemmatizer を使用して、レンマタイザーに取り組んでいます。これは、私が期待していたものを出力するランダムなテキストです

出力：'bad'

出力：'worse'

さて、ここではすべて問題ありません。動作は、'better'(不規則な形の場合) または'older'(との同じテストで'elder'は決して出力されないことに注意してください。ただし'old'、wordnet は既存のすべての英単語の完全なリストではないと思います)

私の質問は、次の単語を試したときに発生します'furter'。

出力：'further'

出力：'far'

'worse'これは、単語の場合とは正反対の動作です。

誰でも理由を説明できますか? wordnet の synsets データに起因するバグですか、それとも英語の文法に対する私の誤解に起因するものですか?

質問がすでに回答されている場合は申し訳ありませんが、Google と SO で検索しましたが、「さらに」というキーワードを指定すると、この単語の人気のために、関連するものは何も見つかりません...

よろしくお願いします、Romain G.

多くのクラスで構成されるプロジェクトに入れると、Netbeans 8.0 (次のリンクにあります) を使用して Java の見出し語化コードに例外があります。例外は

Word2vec は、主に未加工のコーパス データでトレーニングされているようです。ただし、見出し語化は、多くの意味的類似性タスクの標準的な前処理です。word2vec をトレーニングする前にコーパスを見出し語化した経験があるかどうか、またこれが有用な前処理ステップであるかどうか疑問に思っていました。