0

プロジェクトでスペルチェッカーの動作を改善しようとしています。

1つのフィールド（「タイトル」）でのみスペルチェックを行います。下部にある関連構成。

この構成の理由 - 特殊文字を持つオブジェクトをサポートします。

例:
- Angry wars: T70、世界最高の戦車!
- 最新のチップセット M74K34#11$$1 - A:B:C - 100500bestprices!!!very-cool-object|title

ほとんどのケースをカバーするために、構成済みの「solr.WordDelimiterFilterFactory」フィルターを使用します。

問題: スペルチェッカーの結果: "angr bird" を検索しようとすると、"angry birds:" が返されます。可能性があります。仕様文字でキーワードをトリムするだけで十分です (「Angry wars: T70,」 => 「angry」、「wars」、「T70」、「T」、「70」を分割することを意味します)。しかし、spec chars でキーワードをトリミングするにはどうすればよいでしょうか? または、誰かがより良いアイデアを持っていますか?

<field name="title" type="text_en" indexed="true" stored="true" required="true" multiValued="false"/>

ここで、「text_en」は次のとおりです。

<fieldType name="text_en" class="solr.TextField" positionIncrementGap="100">
  <analyzer type="index">
    <tokenizer class="solr.WhitespaceTokenizerFactory"/>
    <filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/>
    <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="0" catenateWords="1" catenateNumbers="0" catenateAll="0" splitOnCaseChange="0" splitOnNumerics="0" preserveOriginal="1"/>
    <filter class="solr.LowerCaseFilterFactory"/>
    <filter class="solr.EnglishPossessiveFilterFactory"/>
    <filter class="solr.KStemFilterFactory"/>
  </analyzer>
  <analyzer type="query">
    <tokenizer class="solr.WhitespaceTokenizerFactory"/>
    <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="0" catenateWords="0" catenateNumbers="0" catenateAll="0" splitOnCaseChange="0" splitOnNumerics="0" preserveOriginal="1"/>
    <filter class="solr.LowerCaseFilterFactory"/>
    <filter class="solr.EnglishPossessiveFilterFactory"/>
    <filter class="solr.KStemFilterFactory"/>
  </analyzer>
</fieldType>

SolrConfigで私が使用する

<requestHandler name="/select" class="solr.SearchHandler">
 <lst name="defaults">
   <str name="echoParams">explicit</str>
   <int name="rows">10</int>
   <str name="spellcheck.count">3</str>
   <str name="spellcheck.dictionary">default</str>
   <str name="spellcheck.dictionary">wordbreak</str> <!-- index -->

   <str name="spellcheck.maxCollationTries">10</str>
   <str name="spellcheck.maxCollations">5</str> 
</lst>
<arr name="last-components">
     <str>spellcheck</str>
</arr>
</requestHandler>


<searchComponent name="spellcheck" class="solr.SpellCheckComponent">

<str name="queryAnalyzerFieldType">textSpell</str>
  <lst name="spellchecker">
  <str name="name">default</str>
  <str name="field">title</str>
  <!-- <str name="field">default_search_field</str> -->
  <str name="classname">solr.DirectSolrSpellChecker</str>
  <!-- the spellcheck distance measure used, the default is the internal levenshtein -->
  <!-- <str name="distanceMeasure">internal</str> -->
  <str name="distanceMeasure">org.apache.lucene.search.spell.JaroWinklerDistance</str>

  <!-- minimum accuracy needed to be considered a valid spellcheck suggestion -->
  <float name="accuracy">0.7</float>
  <!-- the maximum #edits we consider when enumerating terms: can be 1 or 2 -->
  <int name="maxEdits">2</int>
  <!-- the minimum shared prefix when enumerating terms -->
  <int name="minPrefix">1</int>
  <!-- maximum number of inspections per result. -->
  <int name="maxInspections">5</int>
  <!-- minimum length of a query term to be considered for correction -->
  <int name="minQueryLength">4</int>
  <!-- maximum threshold of documents a query term can appear to be considered for correction -->
  <float name="maxQueryFrequency">0.01</float>
  <!-- uncomment this to require suggestions to occur in 1% of the documents
    <float name="thresholdTokenFrequency">.01</float>
  -->      
  <str name="buildOnCommit">false</str>
  <str name="buildOnOptimize">true</str>
  <str name="combineWords">true</str>
  <str name="breakWords">true</str>
  <str name="comparatorClass">freq</str>
  <str name="collate">true</str>
  <str name="count">5</str>
</lst>

<lst name="spellchecker">
  <str name="name">wordbreak</str>
  <!-- <str name="classname">solr.DirectSolrSpellChecker</str> -->
  <str name="classname">solr.WordBreakSolrSpellChecker</str>
  <str name="field">title</str>
  <str name="combineWords">true</str>
  <str name="breakWords">true</str>
  <int name="maxChanges">5</int>
</lst>

</searchComponent>
4

1 に答える 1

0

削除したい文字を制御できます

<filter class="solr.PatternReplaceFilterFactory" pattern="(:)" replacement=" " replace="all"/>
于 2013-10-11T17:09:22.643 に答える