ibm-watson - 近接とランカーで検索

Question

リトリーブ & ランク サービス、特にランキングの際に近接検索ができるかどうかを知りたいです。

例 ：

Ranker learned : 

a. Query = "I have a problem with my mailbox"

b. Documents with pertinence score : "Doc1":3, "Doc2":4", "Doc3":1

したがって、Retrieve サービスのみを使用すると、クエリの結果は次のようになると想像できます。

1. Doc1 
2. Doc2
3. Doc3

そして、ランカーを使用して前の結果を並べ替えると、次のようになります。

1. Doc2 
2. Doc1
3. Doc3

現時点では、すべて問題ありません。

ここで、Ranker を使用して新しい (および同様の) クエリを実行したいと思います:「メールボックスで問題が発生しました」

質問は ：

1. ランカーは、新しいクエリを以前に学習したクエリと照合しますか? したがって、結果は次のようになります。

    1. Doc2 
    2. Doc1
    3. Doc3
   

2. または、Rankerは新しいクエリと以前に学習したクエリを一致させないため、結果は Retrieve サービス実行の結果になります。

    1. Doc1
    2. Doc2
    3. Doc3
   

このドキュメント https://www.ibm.com/watson/developercloud/doc/retrieve-rank/plugin_query_syntax.shtml 、特にこのテキストを見ると、ランカーはクエリに一致しないと思います。

The following modifiers are not supported with the /fcselect request handler:
 - [...]
 - Search by proximity
 - [...]

しかし、この例を試してみると、ランカーがクエリに一致するようです...

御時間ありがとうございます。

Answer 1

そのため、ランカーは、トレーニングの質問を記憶したり、新しい質問をトレーニング データ セット内の最も近い質問にマッピングしたりすることでは機能しません。実際、ランカーは質問を 直接処理しません。

代わりに、RnR ドキュメントの概要資料に従って、ランカーは「learning-to-rank」と呼ばれるアプローチを使用します (ウィキペディアのエントリを参照すると役立つ場合があります: https://en.wikipedia.org /wiki/Learning_to_rank )。

基本的に、ランク付けを学習するアプローチは、最初の取得フェーズから返された各候補ドキュメントがクエリにどれだけ一致するかについての概念をキャプチャする一連の機能を最初に生成することです。機能の詳細については、次の投稿を参照してください: watson retrieve-and-rank - manual ranking。

次に、トレーニング データに基づいて、ランカーはこれらの機能に注意を払い、関連性を最適化するために候補ドキュメントのセットを再ランク付けする方法を学習します。このアプローチにより、将来出てくるさまざまな質問に一般化できます (これらのトピックは同じかもしれませんし、そうでないかもしれません)。