semantics - セマンティック検索エンジンの精度を判断する方法は？

Question

私のいとこはセマンティック検索エンジンを作成しました、そして彼は彼の検索エンジンが最も正確であると主張します。

私は多くのセマンティック検索エンジンを見てきましたが、入力したキーワードに基づいて結果が得られるように設計されていないため、すべて同じように見えます。

では、セマンティック検索エンジンを作成している場合、その結果の精度を判断するにはどうすればよいでしょうか。

Answer 1

実際、サーノルドの提案はそれほど遠くはありません。

通常行うことは、たくさんの人を連れて、たくさんの標準的なクエリを試してもらうことです。または、実験をより公平にしたい場合は、バイアスの非難を避けるために、各ユーザーに独自のクエリを選択させることができます（エンジンが応答に優れていることがわかっている標準のクエリを選択できるため）。

クエリごとに、ユーザーは最初の10ほどの結果を調べて、各結果が関連性があると思ったかどうかを言います（ユーザーに、「はい/いいえ」だけでなく、スケールでスコアを付けてもらいたい場合があります）。

次に、各クエリについて、実験の設定方法に応じて精度スコアを計算できます。ただし、これらは必ずしも得られるとは限らない既知の予想される回答があることに依存しますが、適合率と再現率が最も適切な測定値です。単純なパーセンテージの精度を計算する方が簡単で適切な場合があります。

あなたの検索エンジンがあなたの競争相手より優れていたかどうかを決定するために、あなたは同じ人々に同じ方法で得点するそれらの検索エンジンで同じクエリを実行させるでしょう。これを行うと、検索エンジンのスコアを計算して、自分のスコアと比較できます。