1

以下にリストされているサンプルファイルのパーサーを実装しようとしています。'+'引用符で囲まれた文字列を単一のトークンとして認識したいと思います。ということでjjファイルを作ったのですが、そのような文字列にマッチしません。私は、JavaCC が各トークン仕様の可能な限り長い一致に一致するはずであるという印象を受けました。しかし、それは私には当てはまらないようです。

ここで何が間違っていますか？そこに指定されているにもかかわらず、<STRING>トークンが一致しないのはなぜですか? '+'空白が無視されないのはなぜですか?

options {
  TOKEN_FACTORY = "Token";
}

PARSER_BEGIN(Parser)

package com.example.parser;

public class Parser {

  public static void main(String args[]) throws ParseException {

      ParserTokenManager manager = new ParserTokenManager(new SimpleCharStream(Parser.class.getResourceAsStream("example")));
      Token token = manager.getNextToken();
      while (token != null && token.kind != ParserConstants.EOF) {
          System.out.println(token.toString() + "[" + token.kind + "]");
          token = manager.getNextToken();
      }

      Parser parser = new Parser(Parser.class.getResourceAsStream("example"));
      parser.start();
  }

}

PARSER_END(Parser)

// WHITE SPACE
<DEFAULT, IN_STRING_KEYWORD>
SKIP :
{
  " " // <-- skipping spaces
| "\t"
| "\n"
| "\r"
| "\f"
}

// TOKENS
TOKEN :
{
< KEYWORD1 : "keyword1" > : IN_STRING_KEYWORD
}

<IN_STRING_KEYWORD>
TOKEN : {<STRING : <CONCAT_STRING> | <UNQUOTED_STRING> > : DEFAULT 
| <#CONCAT_STRING : <QUOTED_STRING> ("+" <QUOTED_STRING>)+ >
// <-- CONCAT_STRING never matches   "+" part when input is "'smth' +", because whitespace is not ignored!?
| <#QUOTED_STRING : <SINGLEQUOTED_STRING> | <DOUBLEQUOTED_STRING> >
| <#SINGLEQUOTED_STRING : "'" (~["'"])* "'" >
| <#DOUBLEQUOTED_STRING : 
    "\""
      (
        (~["\"", "\\"]) |
        ("\\" ["n", "t", "\"", "\\"])
      )* 
    "\""
  >
| <#UNQUOTED_STRING : (~[" ","\t", ";", "{", "}", "/", "*", "'", "\"", "\n", "\r"] | "/" ~["/", "*"] | "*" ~["/"])+ >
}

void start() :
{}
{
  (<KEYWORD1><STRING>";")+ <EOF>
}

解析する必要があるファイルの例を次に示します。

keyword1 "foo" + ' bar';

keyword1最初の引数を単一の<STRING>トークンとして一致させたいと思います。

現在の出力:

keyword1[6]
Exception in thread "main" com.example.parser.TokenMgrError: Lexical error at line 1, column 15.  Encountered: " " (32), after : "\"foo\""
    at com.example.parser.ParserTokenManager.getNextToken(ParserTokenManager.java:616)
    at com.example.parser.Parser.main(Parser.java:12)

JavaCC 5.0 を使用しています。

4

1 に答える 1

3

STRING"foo"エラーが示すように、一致できる最長のシーケンスに展開されます。終了二重引用符の後のスペースは、プライベート トークンの定義の一部ではありませんCONCAT_STRING。スキップ トークンは他のトークンの定義内には適用されないため、+.

余談ですが、最終的なトークン定義は次のようにすることをお勧めします。

<each-state-in-which-the-empty-string-cannot-be-recognized>
TOKEN : {
    < ILLEGAL : ~[] >
}

これにより、TokenMgrErrors がスローされるのを防ぎ、デバッグが少し簡単になります。

于 2013-02-20T15:26:39.147 に答える