parsing - EBNF 文法でコメントを解析する方法

Question

言語パーサーの文法を定義するとき、テキストの任意の場所で発生する可能性があるコメント (例: /* .... */) などをどのように処理しますか?

タグ内のタグから文法を構築することは、物事が構造化されている場合にうまく機能するように見えますが、コメントはすべてをスローするようです.

テキストを 2 つのステップで解析する必要があるだけですか? 最初にこれらの項目を削除してから、コードの実際の構造を分解するには?

ありがとう

Answer 1

通常、コメントはメインの文法の範囲外で字句解析器によって処理されます。実際には、それらは (通常) 空白であるかのように扱われます。

Answer 2

1 つのアプローチは、別のレクサーを使用することです。もう 1 つのはるかに柔軟な方法は、現在のコンテキストで有効な暗黙の空白プレフィックスを使用して、すべてのトークンのようなエントリ (キーワード、語彙要素など) を修正することです。これは、最新の Packrat パーサーのほとんどが空白を処理する方法です。