perl - perlのトークンとは何ですか?

Question

私の課題は、ファイルを開いて読み取り、そこからすべてのコンマ、ピリオド、スペース、および感嘆符を削除することです。さらに、単語をハッシュとして配置し、出現回数を値として配置し、単語をキーにして、各単語の出現回数を表示する必要があります。たとえば、「Perl プログラム、Perl プログラム」と書かれているドキュメントの場合です。Perl とプログラムがキーで、値は n

単語-----カウント

パール------2

プログラム---2

インストラクターはすでに指示を投稿しましたが、その中で「行をトークンに分割し、配列を保存する」と述べています。トークンが何であるかを知っていればこれを行うことができると思うので、誰かがトークンとは何かを説明してもらえますか?

Answer 1

ウィキペディアによると

トークンは、規則に従って記号として分類された文字列です (IDENTIFIER、NUMBER、COMMA など)。

Perl ではトークンに特別な意味はありません。

Answer 2

このコンテキストでは、トークンは特殊文字で分割された単語/記号である可能性が高く、無視する必要があるすべての文字になります。

つまり、あなたの例では、トークンは（順番に）

Perl
Program
Perl
Program

しかし、次のように間隔をあけていない別の例では

"Perl!ProgramHello,Name.GoodBye>ASFDKLDJ"

トークンは

Perl
ProgramHello (even though this is two english words)
Name
GoodBye
ASFDKLDJ

トークンを何に分割する必要があるかについて、教授に明確にする必要があります。