python - Pythonプログラミング言語の字句解析

Question

Python用のFLEXまたはLEX仕様ファイルがどこにあるか知っている人はいますか？たとえば、これはANSI Cプログラミング言語のlex仕様です：http ：//www.quut.com/c/ANSI-C-grammar-l-1998.html

参考までに、Cocoaアプリケーションにハイライトするコードを書き込もうとしています。文法解析でコードを折りたたんでブロックを認識したいので、正規表現はそれを行いません。

Answer 1

Lex は通常、完全な解析ではなく、トークン化にのみ使用されます。トークン化に flex/lex を使用するプロジェクトは、通常、実際の解析に yacc/bison を使用します。

lexx と yacc のより「現代的な」代替手段であるANTLRを見てみることをお勧めします。

ANTLR プロジェクトには、少なくともPython 3 用の 1 つを含む、多くの ANTLR 4 文法を含む Github リポジトリがあります。