python - Pythonで入力ファイルの自然な英語のテキストをトークン化する方法は?

Question

私tokenize input file in pythonは python の新しいユーザーです。

正規表現に関するいくつかのことを読みましたが、まだ混乱しているため、同じリンクまたはコードの概要を提案してください。

Answer 1

次のようなことを試してください：

import nltk
file_content = open("myfile.txt").read()
tokens = nltk.word_tokenize(file_content)
print tokens

NLTK チュートリアルには、わかりやすい例がたくさんあります: https://www.nltk.org/book/ch03.html