NLP の一般的なアプローチは、次のような一連のプロセスです。
- トークン化
- 形態素解析
- POSタグ付け
- 構文解析、固有表現認識、名詞句チャンキングなど
- 分類 (またはプログラムの「最終目標」)
各ステップが後段のステップに「相談」せずに決定を下すのは奇妙だといつも思っていました。たとえば、単語を名詞として POS タグ付けする場合がありますが、それにより処理の後半で構文解析が不可能になったとしてもです。
この一般的な NLP 問題に対して、事後手順を考慮したアプローチがあるかどうか疑問に思っていました。あなたがそうするなら、一種の信念の伝播。