自動提案ドロップダウンを実装するために、Suggester と一緒にシングル Fitler を使用していました。シングル フィルターで使用しているフィールドには、「女性」を「女性」および「女性」としてトークン化する、preserveoriginal=1 の単語区切り文字があります。
このため、シングル フィルターが単語 ngram を生成している場合、予想されるトークンとは別に、「女性の女性」トークンもあります。同じ開始値と終了値を持つトークンを無視するように、ShingleFilter を構成する方法があるかどうかを知りたかったのです。