ParseKit の Tokenizer が改行文字を認識し、他の空白文字を認識しないようにしようとしています。
また、例はハッシュで始まるコメントを認識させる方法を示していますが、作成された関数は単一の文字にのみ適用されるようです。2 つのダッシュ ('--') で始まり、改行で終わるコメントを PK に認識させたいと考えています。
ParseKit の Tokenizer が改行文字を認識し、他の空白文字を認識しないようにしようとしています。
また、例はハッシュで始まるコメントを認識させる方法を示していますが、作成された関数は単一の文字にのみ適用されるようです。2 つのダッシュ ('--') で始まり、改行で終わるコメントを PK に認識させたいと考えています。
ParseKitの開発者はこちら。
質問を理解しているかどうかはわかりませんが、(AppleScriptのように)単一行のコメントマーカーとしてPKTokenizer
認識させる方法を探しているなら、これがそれです:--
PKTokenizer *t = [PKTokenizer tokenizerWithString:str];
// make sure `--` is recognized as a single multi-char token
[t.symbolState add:@"--"];
// designate `--` as a single-line comment marker
[t.commentState addSingleLineStartMaker:@"--"];
// make sure `commentState` handles `-` chars first (to check for comments)
[t setTokenizerState:t.commentState from:'-' to:'-'];
これについては、トークナイザーのドキュメントで詳しく説明されています。