問題タブ [semantic-analysis]

私は、WordNet の構造と階層を使用する意味的類似性を測定するためのいくつかの方法に出くわしました。たとえば、Jiang and Conrath 測定 (JNC)、Resnik 測定 (RES)、Lin 測定 (LIN) などです。

NLTK を使用して測定する方法は次のとおりです。

WordNet が意味的類似度の計算の基礎である場合、ブラウン コーパスはここで何に使用されますか?

自然言語処理を使用して文や概念を互いに関連付ける既知の方法はありますか (統計分析を超えていますが、必ずしもそれをソリューションの一部として除外するわけではありません)。これまでのところ、自分のプロジェクトを支援するために NLTK と Stanford-NLP のみを使用してきましたが、別のオープン ソース ソリューションにもオープンです。

例として、次のジョージ・オーウェルのエッセイを取り上げます ( http://orwell.ru/library/essays/wiw/english/e_wiw )。アプリケーションに文を与えたとします

多分

エッセイから次のような行が得られる可能性があります

また

これは簡単ではなく、あまり正確に達成できない可能性があることは理解していますが、すでに存在するものと、何から始めようとするか、または少なくとも既知のものに基づいて可能な限り最良の結果を得ることについてのアイデアを望んでいました。そこの。

ここに投稿する質問自体が正しいかどうかはよくわかりませんが、やってみようと思いました。

私は、公開知識ベースからテキスト データを取得し、このテキストを使用して、元のクエリに関連すると思われる追加の用語を含むタグ ベースの検索クエリを自動的に拡張するプロジェクトに取り組んでいます。公開知識ベースは、基本的にウィキペディアからのデータの集まりです。私の場合、374 万件の記事の要約です。

最初は、元のクエリに基づいて単純に検索を実行し、一致を説明する記事で使用されている単語をクエリから取得し、単純な用語頻度計算を行って、最も使用されている N 個の用語を取得しました。

最初は単純なアイデアのように見えましたが、クエリをさらにテストすると、問題が発生し始めました。カスタム テキスト コレクションに対してある種のセマンティック分析が必要であることは明らかですが、このようなことをどこから始めればよいかさえわかりません。このような意味分析を行うことになっているオンラインで見つけたツールは、事前定義されたテキストのコレクションでのみ機能します。述べたように: カスタム コレクションを処理し、後でそのインデックスを使用して検索を実行できるものが必要です。

アイデアや提案はありますか？

言い換えに基づいて類似のコンテンツ (テキスト) を見つけることに興味があります。どうすればいいですか？これを行うことができる特定のツールはありますか? できればPythonで。

2 つの文の間の意味的距離を測定する方法を探しています。次の文があるとします。

S2 は、S1 から「cherry」、「blossoms」、「in」という単語を削除して作成されます。S1 と S2 の間の距離を大きくする関数を定義したいと考えています。その理由は、美しいとは日本ではなく桜を修飾するため、意味が大きく異なるからです。