solr - Solr での Carrot2 Lingo Clustering のクラスター ラベルのトークン化

Question

Carrot2 Lingo Clustering Algorithm を使用して、Solr 検索結果をクラスター化します。ここで、クラスタリング ラベルをさらに処理したいので、ラベルをトークン化して、ラベルごとに 1 つずつ取得する必要があります。

これを達成するために利用できるある種のポストトークナイザーはありますか、それとも結果を自分で処理する必要がありますか?

ご協力いただきありがとうございます！

ティム

Answer 1

このための特別なトークナイザーはありません。独自にラベルをトークン化する必要があります。ほとんどの場合、空白のトークン化は適切な選択です。