2

次のようにレクサーで定義されたトークンの ID を取得することは可能ですか: token_def<> tok;Spirit パーサーのセマンティック アクション内から。

私がやろうとしているのは、すべての演算子 (+、-、​​ など) のトークン ID を使用し、パーサーのセマンティック アクション (加算、減算、時間、など) 内からその演算子に対応する名前を取得することです。等。）

私が理解している限り、次のようなプロダクションで：

toks.symbol >> toks.plus >> toks.symbol;

toks.plusis または typeの場合token_def<> plus;、_1 は最初のものをtoks.symbol参照し、_2 は 2 番目のものを参照しtoks.symbolます。本当？もしそうなら、どうすれば中間トークンにアクセスできますか (ID を取得するためだけに)?

ありがとう！

4

1 に答える 1

2

組み込みの lazy placeholder を使用できますlex::_tokenid。ドキュメントを参照してください:

チュートリアルの 2 番目の単語数サンプルを適応させて、トークン ID をオンザフライで出力しました。

#include <boost/config/warning_disable.hpp>
#include <boost/spirit/include/lex_lexertl.hpp>
#include <boost/spirit/include/phoenix_operator.hpp>
#include <boost/spirit/include/phoenix_statement.hpp>
#include <boost/spirit/include/phoenix_algorithm.hpp>
#include <boost/spirit/include/phoenix_core.hpp>

#include <iostream>
#include <string>

namespace lex = boost::spirit::lex;
namespace phx = boost::phoenix;

struct distance_func
{
    template <typename Iterator1, typename Iterator2>
    struct result : boost::iterator_difference<Iterator1> {};

    template <typename Iterator1, typename Iterator2>
    typename result<Iterator1, Iterator2>::type 
    operator()(Iterator1& begin, Iterator2& end) const
    {
        return std::distance(begin, end);
    }
};
boost::phoenix::function<distance_func> const distance = distance_func();

template <typename Lexer>
struct word_count_tokens : lex::lexer<Lexer>
{
    word_count_tokens()
      : c(0), w(0), l(0)
      , word("[^ \t\n]+")     // define tokens
      , eol("\n")
      , any(".")
    {
        using boost::spirit::lex::_start;
        using boost::spirit::lex::_end;
        using boost::spirit::lex::_tokenid;
        using boost::phoenix::ref;

        // associate tokens with the lexer
        this->self 
            =   word  [++ref(w), ref(c) += distance(_start, _end), phx::ref(std::cout) << _tokenid << ";" ]
            |   eol   [++ref(c), ++ref(l), phx::ref(std::cout) << _tokenid << ";" ] 
            |   any   [++ref(c), phx::ref(std::cout) << _tokenid << ";" ]
            ;
    }

    std::size_t c, w, l;
    lex::token_def<> word, eol, any;
};

///////////////////////////////////////////////////////////////////////////////
int main(int argc, char* argv[])
{
    typedef 
        lex::lexertl::token<char const*, lex::omit, boost::mpl::false_> 
        token_type;

    typedef lex::lexertl::actor_lexer<token_type> lexer_type;

    word_count_tokens<lexer_type> word_count_lexer;

    std::string str ("the lazy moon jumped over the brazen mold");
    char const* first = str.c_str();
    char const* last = &first[str.size()];

    lexer_type::iterator_type iter = word_count_lexer.begin(first, last);
    lexer_type::iterator_type end = word_count_lexer.end();

    while (iter != end && token_is_valid(*iter))
        ++iter;

    if (iter == end) {
        std::cout << "\nlines: " << word_count_lexer.l 
            << ", words: " << word_count_lexer.w 
            << ", characters: " << word_count_lexer.c 
            << "\n";
    }
    else {
        std::string rest(first, last);
        std::cout << "Lexical analysis failed\n" << "stopped at: \"" 
            << rest << "\"\n";
    }
    return 0;
}

出力：

65536;65538;65536;65538;65536;65538;65536;65538;65536;65538;65536;65538;65536;65538;65536;
lines: 0, words: 8, characters: 41
于 2012-07-10T07:49:00.993 に答える