2

solrで作成したluceneインデックスがあります。Luceneバージョンは3.6.1です。

luceneインデックスを読み取るJavaプログラムをWeb上で見つけました。

http://www.javacodegeeks.com/2010/05/introduction-to-apache-lucene-for-full.html

ローカル環境用にプログラムを変更しましたが、インデックスに結果が含まれるクエリのヒットが見つからないことが常に表示されます。プログラムに不運があった後、SimpleAnalyzerの代わりにStandardAnalyzerを使用するようにコードを変更しました。運がない。

コードは次のとおりです。

package com.javacodegeeks.lucene;

import java.io.File;

import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.queryParser.QueryParser;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.Query;
import org.apache.lucene.search.ScoreDoc;
import org.apache.lucene.search.TopDocs;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;
import org.apache.lucene.util.Version;

public class StandardSearcher {

    public static void main(String[] args) throws Exception {

        File indexDir = new File("/path/to/solr/data/index/");
        String query = "science";
        int hits = 100;

        StandardSearcher searcher = new StandardSearcher();
        searcher.searchIndex(indexDir, query, hits);

    }

    private void searchIndex(File indexDir, String queryStr, int maxHits)
        throws Exception {

        StandardAnalyzer analyzer = new StandardAnalyzer(Version.LUCENE_36);

        Directory directory = FSDirectory.open(indexDir);

        IndexSearcher searcher = new IndexSearcher(directory);
        Query query = new QueryParser(Version.LUCENE_36, "title", analyzer).parse(queryStr);

        TopDocs topDocs = searcher.search(query, maxHits);

        ScoreDoc[] hits = topDocs.scoreDocs;
        for (int i = 0; i < hits.length; i++) {
            int docId = hits[i].doc;
            Document d = searcher.doc(docId);
            System.out.println(d.get("filename"));
        }

        System.out.println("Found " + hits.length);

    }

}

私は何が間違っているのですか?solrconfig.xmlを見ると、solrがデフォルトで使用しているアナライザーがわかりません。そのため、SimpleAnalyzerとStandardAnalyzerの両方を試しました。

これをデバッグする方法についての提案をいただければ幸いです。

更新:これが私のスキーマのフィールドです:

<field name="metaDataUrl" type="string" indexed="true" stored="true" required="true"/>
<field name="title" type="text" stored="true" indexed="true"/>
<field name="snippet" type="text" indexed="true" stored="true"/>
<field name="rest" type="string" stored="true" indexed="false" multiValued="true"/>
<field name="date_indexed" type="date" indexed="true" stored="true" default="NOW" multiValued="false"/>
<field name="all" type="text" stored="false" indexed="true" multiValued="true"/>

そして、schema.xmlからのfieldTypeテキストのXMLは次のとおりです。

<!-- A text field that uses WordDelimiterFilter to enable splitting and matching of                                                                                                             
    words on case-change, alpha numeric boundaries, and non-alphanumeric chars,                                                                                                                 
    so that a query of "wifi" or "wi fi" could match a document containing "Wi-Fi".                                                                                                             
    Synonyms and stopwords are customized by external files, and stemming is enabled.                                                                                                           
    -->
<fieldType name="text" class="solr.TextField" positionIncrementGap="100">
  <analyzer type="index">
    <tokenizer class="solr.WhitespaceTokenizerFactory"/>
    <!-- in this example, we will only use synonyms at query time                                                                                                                               
    <filter class="solr.SynonymFilterFactory" synonyms="index_synonyms.txt" ignoreCase="true" expand="false"/>                                                                                  
    -->
    <!-- Case insensitive stop word removal.                                                                                                                                                    
      add enablePositionIncrements=true in both the index and query                                                                                                                             
      analyzers to leave a 'gap' for more accurate phrase queries.                                                                                                                              
    -->
    <filter class="solr.StopFilterFactory"
            ignoreCase="true"
            words="stopwords.txt"
            enablePositionIncrements="true"
            />
    <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="1" catenateNumbers="1" catenateAll="0" splitOnCaseChange="1"/>
    <filter class="solr.LowerCaseFilterFactory"/>
    <filter class="solr.SnowballPorterFilterFactory" language="English" protected="protwords.txt"/>
  </analyzer>
  <analyzer type="query">
    <tokenizer class="solr.WhitespaceTokenizerFactory"/>
    <filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/>
    <filter class="solr.StopFilterFactory"
            ignoreCase="true"
            words="stopwords.txt"
            enablePositionIncrements="true"
            />
    <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="0" catenateNumbers="0" catenateAll="0" splitOnCaseChange="1"/>
    <filter class="solr.LowerCaseFilterFactory"/>
    <filter class="solr.SnowballPorterFilterFactory" language="English" protected="protwords.txt"/>
  </analyzer>
</fieldType>
4

2 に答える 2

1

(fieldType xml のインデックス部分で定義されているように) インデックス作成中に使用されるトークナイザーとフィルターを使用して、カスタム アナライザーを構築する必要があります。そのカスタム アナライザーをパラメーターとしてサーチャーに渡すと、検索が正常に機能するはずです。SnowballPorterFilter は「科学」に由来しますか? 多分 ..

カスタム アナライザーの構築の詳細については、http://whiteboardjunkie.wordpress.com/tag/custom-analyzer/を参照してください。tokenstream() でフィルターを次々と呼び出すだけです。

また、luke (http://code.google.com/p/luke/) を使用してインデックスを調べると、タイトル フィールドに「科学」を含むドキュメントがまったくないかどうかを確認できます。

于 2012-12-27T06:18:46.153 に答える
-1

同僚が私のコードを少し変更して、以下のコードのようにしました。彼はまた、私が語幹を検索することを提案しました。このアプローチは機能し、Solrで構築されたLuceneインデックスに対する検索の結果が得られました。このコードはまだ作業が必要ですが、他の人に役立つことを願っている概念実証として投稿しています。

import java.io.File;

import java.util.List;
import org.apache.lucene.document.Fieldable;
import org.apache.lucene.document.Field;
import org.apache.lucene.analysis.SimpleAnalyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.queryParser.QueryParser;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.Query;
import org.apache.lucene.search.ScoreDoc;
import org.apache.lucene.search.TopDocs;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;
import org.apache.lucene.util.Version;

public class SimpleSearcher {

    public static void main(String[] args) throws Exception {

        File indexDir = new File("/path/to/solr/data/index/");
        int hits = 100;

        SimpleSearcher searcher = new SimpleSearcher();
        searcher.searchIndex(indexDir, args[0], hits);
    }

    private void searchIndex(File indexDir, String queryStr, int maxHits)
            throws Exception {

        Directory directory = FSDirectory.open(indexDir);

        IndexSearcher searcher = new IndexSearcher(directory);
        QueryParser parser = new QueryParser(Version.LUCENE_35,
         "title", new SimpleAnalyzer());
        Query query = parser.parse(queryStr);

        TopDocs topDocs = searcher.search(query, maxHits);

        ScoreDoc[] hits = topDocs.scoreDocs;
        for (int i = 0; i < hits.length; i++) {
            int docId = hits[i].doc;
            Document d = searcher.doc(docId);
            List<Fieldable> fields = d.getFields();

            System.out.println( (i+1) + ". ==========================================================");
            for ( Fieldable field : fields ) {
               if (field.isStored()) {
                 System.out.println(" >> " + field.name() + " - " + d.get(field.name()));
               }
            }
        }

        System.out.println("Found " + hits.length);
    }
}
于 2012-12-28T04:37:45.783 に答える