python - トークナイザーにキーワードを追加するには?

Question

特定のコードをトークン化するために generate_token 関数を使用しています。問題は、「print」と「input」をキーワードとして追加できないことです。キーワードではなく名前としてそれらを返しています。これらのトークンを追加するにはどうすればよいですか?

import token
import tokenize

try:
    from cStringIO import StringIO
except:
    from io import StringIO
file = open(filename)
characters = file.read()
file.close()
code_reader = StringIO(characters).readline

for num, (ttyp, ttok, _, _, _) in enumerate(tokenize.generate_tokens(code_reader)):
    print("%5d %15s %r" % (num, token.tok_name[ttyp], ttok))

Answer 1

モジュールはtokenizeキーワードについて何も言いません。すべてのキーワードは NAME として返されるため、通常はkeywordモジュールを使用して、どれがキーワードであるかを決定する必要があります。ただし、必要に応じて他の手段を使用することもできます。