ドラゴンブックを読み始めたばかりですが、いくつかのステートメントを理解するのが難しいと感じています。
「字句解析プログラムは、ソースプログラムの各語彙素のトークンのシーケンスを生成します」と書かれています。上記の行を理解するのを手伝ってもらえますか？トークンと語彙素については知っていますが、語彙素ごとに複数のトークンを生成するとはどういう意味ですか....AFAIKLEXEME自体が単一のトークンを危険にさらします。
完全な見積もりは次のとおりです。
「コンパイラの最初のフェーズとして、字句解析プログラムの主なタスクは、ソースプログラムの入力文字を読み取り、それらを語彙素にグループ化し、ソースプログラムの各語彙素のトークンのシーケンスを出力として生成することです。」
上記の引用は、「字句解析器の役割」という見出しの下の第3章のセクション3.1からのものです。ページ番号は109です。