これは、Java から移行する人にとっては、.NET に関する典型的な質問です。
.NET には java.io.StreamTokenizer に直接相当するものはないようですが、JLCA はそれを実装しようとする SupportClass を提供しています。JLCA は、String をソースとして受け取る Tokenizer SupportClass も提供していると思います。
Stream と String の両方をトークン化するための推奨される方法は何ですか? それともありますか？ストリームは .Net でどのようにトークン化されますか? java.io.StreamTokenizer が提供する柔軟性が欲しいです。何かご意見は？
.NET には、StreamTokenizer と完全に同等のものはありません。単純なケースでは String.Split() を使用できますが、より高度なトークン解析では、おそらくSystem.Text.RegularExpressions.Regexを使用することになります。
特定の文字のコレクションに基づいて文字列を分割する必要がある場合は、System.String.Split を使用します。
System.Text.RegularExpressions.RegEx.Split を使用して、一致するパターンに基づいて分割します。
tuPrologをJavaからC＃に移植するときに、同等のStreamTokenizerを見つけるという同じ問題がありました。私の知る限り、TextReaderを入力目的の「ストリーム」として受け取るStreamTokenizerの直接変換であるものを書くことになりました。tuProlog.NET 2.1（LGPLライセンス）のダウンロードにコードが含まれているので、自由に再利用してニーズに合わせてください。
Nextem ライブラリにトークナイザーがあります -- ここで例を見ることができます: http://trac.assembla.com/nextem/browser/trunk/Examples/Parsing.n
Nemerle マクロとして実装されていますが、これを記述して C# から簡単に使用できます。
私はそうは思いません。非常に単純なトークン化については、System.String.Split() をご覧ください。
System.Text.RegularExpressions.Regex によって、より複雑なトークン化を実現できます。
文字列をトークン化するには、 を使用しますstring.Split(...)。