1

次のxmlファイルがあります：

<?xml version="1.0" encoding="UTF-8"?>
<data>
<text>We are a doing nothing here you can say it time pass. what are you doing doing doing doing doing time?</text>
<text>We are a doing nothing here you can say it time pass. what are you doing doing doing doing doing time?</text>
</data>

今、私は次のクエリを実行しました:

let $hits :=
let $terms :=
let $node := xdmp:document-filter(doc("/content/C/Documents and Settings/vimleshm/Desktop/abc.xml"))
return 
(cts:distinctive-terms($node,
<options xmlns="cts:distinctive-terms"
xmlns:db="http://marklogic.com/xdmp/database">
<use-db-config>false</use-db-config>
<score>logtf</score>
<max-terms>100</max-terms>
<db:word-searches>true</db:word-searches>
<db:stemmed-searches>off</db:stemmed-searches>
<db:fast-phrase-searches>false</db:fast-phrase-searches>
<db:fast-element-word-searches>false</db:fast-element-word-searches>
<db:fast-element-phrase-searches>false</db:fast-element-phrase-searches>
</options>)//cts:term)
for $wq in $terms
where $wq/cts:word-query
return element word {
attribute score {                               $wq/@score},
$wq/cts:word-query/cts:text/string() }
return 

let $x:=
for $hit in $hits

return $hit
return $x

それは私に次の応答を与えます：

<?xml version="1.0" encoding="UTF-8"?>
<results warning="more than one root item">
  <word score="36864">doing</word>
  <word score="26624">text</word>
  <word score="26624">you</word>
  <word score="26624">time</word>
  <word score="26624">are</word>
  <word score="22528">a</word>
  <word score="22528">we</word>
  <word score="22528">it</word>
  <word score="22528">data</word>
  <word score="22528">can</word>
  <word score="22528">pass</word>
  <word score="22528">here</word>
  <word score="22528">nothing</word>
  <word score="22528">what</word>
  <word score="22528">say</word>
</results>

このスコア [log(用語頻度)] が実際にどのように計算されたのか誰か教えてくれませんか? 上記の場合の例では、合計 42 単語のうち「やっている」という用語が 12 回使用されています。

以下は、上記のファイルの総用語と頻度です[括弧内に記載]

doing [12]
you [4]
time [4]
are [4]
a [2]
We [2]
nothing [2]
here [2]
can  [2]
say [2]
it [2]
pass [2]
what [2]
4

1 に答える 1

5

http://docs.marklogic.com/guide/search-dev/relevance#chapterから始めるのが最適です。ここでは、logTF よりも多くのことが行われています。次のものもあります。

  • IDF - これらの単語はデータベース全体でどの程度一般的ですか?
  • 文書の長さの正規化 - 長い文書は短い文書よりも多くの単語を結びつける傾向があるため、スコアは文書の長さに合わせて調整されます
  • logTF は、実際にはステップ TF 関数の自然対数です (速度のため)。

これらすべてが連携して、スコアを正確かつ高速にします。

于 2012-10-18T20:56:33.643 に答える