Pythonソースコードをトークン化する単純な(おそらく依存関係のない)シンタックスハイライターウィッチはありますか? トークンの種類、コードの先頭からのオフセット、およびトークンの長さを返すために必要です。
Python ビルドインを使用したかったのですtokenize
が、オフセットが返されません。
いくつかの標準的な構文ハイライターも調べましたが、それらはすべて他の言語もトークン化しており、私の場合はやり過ぎです。私が探しているのは、単純な (そして高速な) Python 構文ハイライターだけです。
前もって感謝します!