nlp - 文、キーワード、またはトピックから関連テキストを抽出する

Question

自然言語処理を使用して文や概念を互いに関連付ける既知の方法はありますか (統計分析を超えていますが、必ずしもそれをソリューションの一部として除外するわけではありません)。これまでのところ、自分のプロジェクトを支援するために NLTK と Stanford-NLP のみを使用してきましたが、別のオープン ソース ソリューションにもオープンです。

例として、次のジョージ・オーウェルのエッセイを取り上げます ( http://orwell.ru/library/essays/wiw/english/e_wiw )。アプリケーションに文を与えたとします

"What are George Orwell's opinions on writers." 

多分

"George Orwell believes writers enjoy writing to express their creativity, to make a point and for their egos."

エッセイから次のような行が得られる可能性があります

"The aesthetic motive is very feeble in a lot of writers, but even a pamphleteer or writer of textbooks will have pet words and phrases which appeal to him for non-utilitarian reasons; or he may feel strongly about typography, width of margins, etc."

また

"Serious writers, I should say, are on the whole more vain and self-centered than journalists, though less interested in money."

これは簡単ではなく、あまり正確に達成できない可能性があることは理解していますが、すでに存在するものと、何から始めようとするか、または少なくとも既知のものに基づいて可能な限り最良の結果を得ることについてのアイデアを望んでいました。そこの。

Answer 1

あなたの質問（およびあなたのコメント）から私が理解していることから、あなたは個々の文の意味を理解することにもっと興味があり、それから互いに近接していると見なす. 私の意見では、統計的アプローチは、文を理解するというよりも、文の「感触をつかむ」ためのものです。私の意見では、深い解析アプローチをお勧めします。

文を深く解析し、文の中で単語が果たす役割を理解し、主語-動詞-目的語モデル (左から右への解析などの手法) を理解してから、名詞と動詞を分類するのに役立つ語彙を用意します。

例えば

"Serious writers, I should say, are on the whole more vain and self-centered than journalists, though less interested in money."

この文を解析すると、文の主語が「serious writers」(serious は形容詞で、基本的には writers) であることがわかります。動詞の形では、「are」（現在の状態）と「interested」を示します。次に、各動詞は、形容詞を含むいくつかの語彙を指します。この語彙を正しい方法で整理する (そして構築し続ける) と、どこかで問題を解決できるはずです。