問題タブ [question-answering]

私はしばらくの間これについて疑問に思っていました、そしてなぜグーグルがまだそれを試していなかったのか分かりません-あるいは多分彼らはそれを試しました、そして私はそれについて知りません。

あなたが知りたいことを見つけるためにあなた自身をトロールしなければならない結果のリストではなく、あなたに単一の答えを与える質問をタイプすることができる検索エンジンはありますか？

たとえば、これは私がシステムを設計する方法です：

ユーザーの意見：「目をテストするためにどこに行きますか？」</ p>

システム出力：「眼鏡技師。確実性：95％」</ p>

これは次のように計算されます。

1. 入力は自然言語から単純な検索文字列に解析されます。この場合はおそらく「視力検査」のようなものです。「どこに行くか」という用語もシステムによって解釈され、結果を比較するときに使用されます。
2. 検索文字列は検索エンジンに送られます。
3. 次に、システムは結果の内容を比較して、質問が何を求めているか（つまり、何を、どこで、誰が、どのように）に注意して、一致する単語またはフレーズを見つけます。
4. 適切な回答が決定されると、システムはその回答が正しいかどうかの尺度とともにユーザーに表示します。

インターネットは分散しているため、特に単純な質問の場合、正解が複数回表示される可能性があります。この特定の例では、この単語が結果に表示され続け、検索されている答えがほぼ確実であることをシステムが認識するのはそれほど難しくありません。

より複雑な質問の場合、より低い確実性が表示され、異なるレベルの確実性で複数の結果が表示される可能性があります。ユーザーには、システムが結果を計算したソースを確認する機会も提供されます。

このシステムのポイントは、検索を簡素化することです。多くの場合、検索エンジンを使用するときは、本当に単純または些細なものを探しています。結果の長いリストを返すことは、答えがそれらの結果にほぼ確実に隠されているとしても、質問に答える最も効率的な方法のようには思えません。

上記の質問のGoogleの結果を見て、私のポイントを確認してください： http ://www.google.co.uk/webhp?sourceid=chrome-instant&ie=UTF-8&ion=1&nord=1#sclient=psy&hl=en&safe = off＆nord = 1＆site = webhp＆source = hp＆q = Where％20do％20you％20go％20to％20get％20your％20eyes％20tested％3F＆aq =＆aqi =＆aql =＆oq =＆pbx = 1＆fp = 72566eb257565894＆fp = 72566eb257565894＆ion = 1

与えられた結果は、質問にすぐに答えるものではありません。本当に必要な答えが見つかる前に、ユーザーが検索する必要があります。検索エンジンは素晴らしいディレクトリです。彼らはあなたに主題についてのより多くの情報を与えたり、サービスを見つける場所を教えたりするのに本当に良いですが、直接の質問に答えるのはあまり得意ではありません。

システムを作成する際に考慮しなければならない多くの側面があります。たとえば、結果を計算するときにWebサイトの精度を考慮に入れる必要があります。

システムは単純な質問に対してはうまく機能するはずですが、より複雑な質問に対してはシステムを機能させるのはかなりの作業かもしれません。たとえば、一般的な誤解は特別な場合として処理する必要があります。システムが、ユーザーの質問に回答として一般的な誤解があるという証拠を見つけた場合は、回答を提供するときにこれを指摘するか、最も一般的な回答を無視して、それを指摘するWebサイトによって提供される回答を優先する必要があります。よくある誤解です。これはすべて、競合するソースの精度と品質を比較することによって検討する必要があります。

これは興味深い質問であり、多くの調査が必要になりますが、確かに時間と労力の価値はありますか？常に正しいとは限りませんが、ユーザーにとって単純なクエリがはるかに高速になります。

私は、基本的に知識ベースの質問応答システムであるプロジェクトに取り組んでいます。私のシステムは、ユーザーからクエリを受け取り、ウィキペディアから関連ドキュメントをダウンロードし、すべての html タグを取り除き、プレーン テキストを抽出します。この後、ドキュメントを文にトークン化し、用語-ドキュメント(TD) マトリックスを形成します (クエリも文として渡されます)。この TD マトリックスは、pLSA (Probabilistic Latent Symentic Analysis) アルゴリズムに転送されます。最後に、クエリ ベクトルを使用してドキュメント (文) ベクトル間のコサイン類似度を計算します。クエリ ベクトルとの類似度に基づいて、最も関連性の高い文が回答として表示されます。(ステミングは、TD マトリックスの形成時にも行われます)。問題は、結果は表示されますが、最も関連性が高くないことです。どこが間違っていますか？私が従っている戦略は正しいですか、または、役立つ可能性のある他のアルゴリズムが存在しますか?? 以下に、システムから返された質問とその回答の一部を示します。

別の質問

別の質問

さらに別の実行

ナレッジ グラフを使用する Google Direct Answers のようなものを実装することを楽しみにしています。何か役に立つリソースはありますか? また、そのデータはどこにありますか？

前もって感謝します

私は最近 NLP について少し調べていて、これまでのところ、文の分割から POS タグ付け、さらには知識の表現に至るまで、すべてがどのように機能するかについて(非常に)基本的な考えを持っています。

多種多様な NLP ライブラリ (主に Java または Python) が存在することを理解しており、.NET 実装 ( SharpNLP ) を見つけました。それは実際に優れています。カスタム処理ロジックを記述する必要はありません。それらの機能を使用するだけで出来上がりです！ユーザー入力は適切に分離され、POS タグが付けられます。

私の主な動機が質問応答システム (おしゃべりボットのようなもの) を構築することである場合、ここからどこへ行くべきかわかりません。どのライブラリ (できれば .NET) を使用できますか? 独自の KB を作成したい場合、自分の知識をどのように表現すればよいですか? POS タグ付きの入力を、DB が理解できる別のものに解析する必要がありますか? また、MS SQL を使用している場合、POS タグ付き入力をデータベース クエリにマップするのに役立つライブラリはありますか? または、手続き型セマンティクスに従って、独自のデータベースクエリロジックを作成する必要がありますか (私が読んだことがあります)?

もちろん、次のステップはよくできた回答を作成することですが、それは後回しにしてもいいと思います。現在、私を悩ませているのは、この分野 (知識表現、NLP から KB/DB 検索) のリソースの不足です。そこにいる誰かが私にあなたの専門知識を提供してくれると本当にありがたいです :)

そのような API やサービスが現在存在するかどうかはわかりませんので、漠然とした質問で申し訳ありません。

私は Freebase で動作する PHP スクリプトを持っています。それを有効にして、ユーザーが私のサイトで自然言語処理を使用して分解される質問をし、Freebase API を照会して回答を返すことができるかどうか疑問に思っていました。

Freebase で動作する、このような既存のツールを知っている人はいますか?

そうでない場合、次のような質問を取り除いて、Freebase のエベレスト山の記事"how tall is mount everest?"をクエリするようにスクリプトに指示できる、優れた自然言語理解 API を知っている人はいますか?"height"

質問に対する簡単な回答を提供する、Google やウィキペディア、またはその他のサーバーからのバージョンは存在しますか?

私は Siri のようなアシスタントをコーディングしています。彼に米国の大統領は誰かを尋ねて、バラク・オバマ (信頼度: 0.8345) などのようなものを取得できるようにしたいと考えています。

この種の答えを提供するものはありますか？

私はオープン ソースの Ephyra コードに取り組んでおり、KM の新しいソースとして YQL API を組み込みました。問題は、エフィラが非常に短い答えを出すことです。「化学とは何ですか?」のようなオープンエンドの質問でも、「物質の変化」または「有機的」などの 1 つまたは 2 つの単語の簡単な答えが得られます。しかし、そのような質問には、より説明的で詳細な回答が必要です。

これを変更して、より詳細な回答を得る方法はありますか? おそらく、いくつかのフィルターセットを削除して、他のフィルターを追加することによって。

これは、デフォルトでのフィルターの現在のリストです。

私が使用できる追加のフィルターは次のとおりです。

しかし、これらのどれが回答抽出フィルターで、どれが回答選択フィルターであるかはわかりません。そして、私たちは何らかの順序に従わなければならないと思います。

これらすべてのフィルターの順序を教えてください。これにより、必要な種類の回答を得ることができました（説明）。よくわかりません

はいかいいえだけで答えられる質問応答システムを構築したいと考えています。

質問とテキスト ファイルがあるとします。テキスト ファイルには、4 ～ 5 個のスニペットがあります。これらのスニペットで、質問に答えることができました。

ということで、質問とテキストファイルを入力として受け取り、回答(yes or no)を抽出するシステムを構築したいと思います。

どうすれば始められますか??

私のツールは次のとおりです：Python（nltk）Prolog mysql（必要な場合）