java - Java を使用して字句解析プログラムを作成するためのアイデア

Question

Java を使用して字句解析プログラムを作成しようとしています。プログラムにはトークン化の概念が必要です。コンパイラ プログラミングの初心者レベルの知識があります。インターネット上に多数の字句ジェネレータが存在することを知っています。それらを使用して、自分の字句をテストできます。アナライザー出力。

Answer 1

Aho Sethi と Ullman による「Compilers Principles, Techniques and Tools」には、字句解析器に関する章があります。この問題領域の核となる正規表現と有限オートマトンに関する多くの理論が含まれています。

Answer 2

いくつかの優れたものについては、ソース コードを調べてみます。過去にSableccを使用したことがあります。環境の設定方法を説明しているこのページにアクセスすると、そのソース コードへのリンクがあります。Antlrも非常に一般的に使用されています。これがそのソースコードです。

また、ドラゴンブックは本当に良いです。

SK-logic の提案により、最新のコンパイラの実装を別のオプションとして追加しています。