solr - 複数値フィールドに対するKeywordTokenizerの効果

Question

複数の値のフィールドがKeyWordTokenizerを通過した場合、コンテンツ全体に単一のトークンが返されますか、それとも値の数と同じ数のトークンが返されますか？

Answer 1

Solr に供給される複数のトークンになります。

多値フィールドは基本的に単一の値として保存され、positionIncrementGap によって決定される用語間に特別なスペースが追加されます。

したがって、KeyWordTokenizer を介してフィールドを渡す場合でも、トークンは技術的には単一のトークンになりますが、positionIncrementGap を使用すると複数値として動作します。