c# - C＃でトークン化とストップワードの削除を実行する方法は？

Question

基本的に、段落の各単語をトークン化してから、ストップワードの削除を実行します。これは私のアルゴリズムの前処理されたデータになります。

Answer 1

すべての句読点を削除し、空白の文字列を分割できます。

string s = "This is, a sentence.";
s = s.Replace(",","").Replace(".");
string words[] = s.split(" ");