ws4j ライブラリでいくつかのテストを行っています。特に、"university" と "teaching" という 2 つのテスト ワードの類似度を計算したいと考えています。ステミングを適用すると、類似度は 0 になります... ステミングを適用しないと、結果は 0 より高くなります。逆の影響: 使用すると、正の類似性が得られます。それ以外の場合、類似度は 0 です。
なぜそれが起こるのですか?両方の例で同様の結果が得られるより一般的なアプローチはどれですか?
public class TestWs4j
{
private static ILexicalDatabase db = new NictWordNet();
private static RelatednessCalculator[] rcs = {
new WuPalmer(db), // new HirstStOnge(db), new LeacockChodorow(db), new Lesk(db),
new JiangConrath(db), new Path(db) // new Resnik(db), new Lin(db),
};
private static void run( String word1, String word2 ) {
WS4JConfiguration.getInstance().setMFS(true);
for ( RelatednessCalculator rc : rcs ) {
double s = rc.calcRelatednessOfWords(word1, word2);
System.out.println( rc.getClass().getName()+"\t"+s );
}
}
public static void main(String[] args) {
long t0 = System.currentTimeMillis();
PorterStemmer stemmer = new PorterStemmer();
// String w1 = stemmer.stemWord("university");
// String w2 = stemmer.stemWord("teaching");
// run(w1,w2);
run("university","teaching");
long t1 = System.currentTimeMillis();
System.out.println( "Done in "+(t1-t0)+" msec." );
}
}