cocoa - CFStringTokenizerを使用して文の配列を取得するには?

Question

次のような文字列トークナイザーを作成しました。

stringTokenizer = CFStringTokenizerCreate(
                         NULL
                         , (CFStringRef)str
                         , CFRangeMake(0, [str length])
                         , kCFStringTokenizerUnitSentence
                         , userLocale);

しかし、トークナイザーからこれらの文を取得するにはどうすればよいでしょうか? CF String Programming Guide では、またはトークンについては言及されていませんCFStringTokenizer(PDF で全文検索を行いました)。

Answer 1

CFStringTokenizerの使用例を次に示します。

CFStringRef string; // Get string from somewhere
CFLocaleRef locale = CFLocaleCopyCurrent();

CFStringTokenizerRef tokenizer = 
    CFStringTokenizerCreate(
        kCFAllocatorDefault
        , string
        , CFRangeMake(0, CFStringGetLength(string))
        , kCFStringTokenizerUnitSentence
        , locale);

CFStringTokenizerTokenType tokenType = kCFStringTokenizerTokenNone;
unsigned tokensFound = 0;

while(kCFStringTokenizerTokenNone !=
    (tokenType = CFStringTokenizerAdvanceToNextToken(tokenizer))) {
    CFRange tokenRange = CFStringTokenizerGetCurrentTokenRange(tokenizer);
    CFStringRef tokenValue =
        CFStringCreateWithSubstring(
            kCFAllocatorDefault
            , string
            , tokenRange);

  // Do something with the token
  CFShow(tokenValue);
  CFRelease(tokenValue);
  ++tokensFound;
}

// Clean up
CFRelease(tokenizer);
CFRelease(locale);