ファイルをトークン化するために、改行を無視して、ファイルの空白で区切られた部分を吐き出すジェネレーターがあります。
def parts(filename):
file = open(filename, 'r')
for line in file:
for part in line.split():
yield part
さて、私はそれをジェネレーターの理解として書きたいと思います-うまくいかなかったのは:
p = (part for part in line.split() for line in file)
また
p = (part for part in (line.split() for line in file))
後者は、分割された線の一部ではなく、分割された線を吐き出します