アラビア語の単語をステミングするカスタム solr フィルターを実装しようとしています。フィルター クラスは次のとおりですが、ドキュメントのインデックス作成時に「possible analysis error」というエラーが発生し続けます。Khoja のステマーを使用しています。
public final class CustomArbicStemFilter extends TokenFilter {
private CharTermAttribute termAtt = addAttribute(CharTermAttribute.class);
private CustomArabicStemmer stemmer = null;
public CustomArbicStemFilter(TokenStream input) {
super(input);
this.stemmer = new CustomArabicStemmer();
}
public final boolean incrementToken() throws IOException {
if (input.incrementToken()) {
char termBuffer[] = termAtt.buffer();
String currentWord = new String( termBuffer);
String stemmedWord = stemmer.stemWord(currentWord);
char finalTerm[] = stemmedWord.toCharArray();
termAtt.copyBuffer(finalTerm, 0, finalTerm.length);
return true;
}else{
return false;
}
} }