空白を含むパスで path_hierarchy トークナイザーを使用し、空白ではなく区切り文字のみに基づいてトークンを作成することは可能ですか? 例えば、
「/空港/格納庫 1」
としてトークン化されます
「空港」、「格納庫 1」、
いいえ
「空港」、「格納庫」、「1」?
空白を含むパスで path_hierarchy トークナイザーを使用し、空白ではなく区切り文字のみに基づいてトークンを作成することは可能ですか? 例えば、
「/空港/格納庫 1」
としてトークン化されます
「空港」、「格納庫 1」、
いいえ
「空港」、「格納庫」、「1」?
path_hierarchy トークナイザーは、空白を含むパスで完全に機能します。
curl "localhost:9200/_analyze?tokenizer=path_hierarchy&pretty=true" -d "/airport/hangar 1"
{
"tokens" : [ {
"token" : "/airport",
"start_offset" : 0,
"end_offset" : 8,
"type" : "word",
"position" : 1
}, {
"token" : "/airport/hangar 1",
"start_offset" : 0,
"end_offset" : 17,
"type" : "word",
"position" : 1
} ]
}
ただし、例に基づいて、代わりにパターントークナイザーを使用する必要がある場合があります。