elasticsearch - Elasticsearch で標準の tokenfilter は正確に何をしますか?

Question

documentation には例がありません。入力から何を期待できるのか疑問に思っていました。

Answer 1

Elasticsearch 0.16 (Lucene 3.1) より前の標準トークン フィルターは、「標準トークナイザーによって抽出されたトークンを正規化する」ものでした。具体的には's、単語の末尾と頭字語のドットを削除していました。それで、当時は標準フィルターを通過した後Apple's C.E.Oになります。Apple CEOElasticsearch 0.16 (Lucene 3.1) 以降、標準のトークン フィルターは(少なくとも現時点では)何もしません。チェーン内の次のフィルターにトークンを渡すだけです。