search-engine - trec_eval を使用して検索/検索エンジンを評価する方法は?

Question

TREC_EVAL を使用したことのある団体はありますか? 「ダミー用 Trec_EVAL」が必要です。

論文の作業のために、いくつかの検索エンジンを評価して、Recall-Precision、ランキング品質などのパラメーターを比較しようとしています。TREC_EVAL を使用してクエリを検索エンジンに送信し、TREC_EVAL で使用できる結果ファイルを取得する方法が見つかりません。

Answer 1

基本的に、trec_eval には (人間が生成した) グラウンド トゥルースが必要です。それは特別な形式でなければなりません:

query-number 0 document-id relevance

101Categories (ウィキペディアのエントリ)のようなコレクションを考えると、次のようになります。

Q1046   0   PNGImages/dolphin/image_0041.png    0
Q1046   0   PNGImages/airplanes/image_0671.png  128
Q1046   0   PNGImages/crab/image_0048.png   0

したがって、クエリ番号はクエリを識別します (たとえば、特定のカテゴリの画像から類似のものを検索します)。次に、検索エンジンからの結果を次のように変換する必要があります

query-number    Q0  document-id rank    score   Exp

または現実に

Q1046   0   PNGImages/airplanes/image_0671.png  1   1   srfiletop10
Q1046   0   PNGImages/airplanes/image_0489.png  2   0.974935    srfiletop10
Q1046   0   PNGImages/airplanes/image_0686.png  3   0.974023    srfiletop10

ここで説明されているように。「document-id」のパス名を調整する必要がある場合があります。次に、標準メトリックを計算できますtrec_eval groundtrouth.qrel results。 trec_eval --help論文に必要な測定値を使用するための適切なパラメーターを選択するためのアイデアが得られるはずです。

trec_evalクエリを送信しないため、自分で準備する必要があります。trec_evalは、グラウンド トラウトと結果が与えられた場合の分析のみを行います。

基本的な情報は、こことここにあります。