モデルが構成段階で以前にトレーニングされた品詞のタグ付けを使用していることを理解しています。しかし、ほとんどの単語が新しい場合、パーサーはどのように動作を決定するのでしょうか?
質問する
66 次
2 に答える
1
次のように、@ Quantumの回答を詳細なものに具体化したいと思います。
2014 年以前は、多くのパーサーが手動で設計された機能テンプレートのセットに依存していました。このような方法には 2 つの欠点があります。1) 多くの専門知識が必要であり、通常は不完全です。2) 実行時間のほとんどは、構成段階の機能抽出部分によって消費されます。Chen と Mannning が論文A Fast and Accurate Dependency Parser using Neural Networks を発表した後、ほとんどすべてのパーサーがニューラル ネットワークに依存しています。
チェンとマニングがどのように仕事をしたか見てみましょう。
上の図に示すように、ニューラル ネットワークの出力はソフトマックス関数の後の分布であり、与えられた情報に応じた単純な分類問題です。与えられた情報には、主に 3 つの部分が含まれます。スタックとバッファーの上位 3 ワード、スタックの上位 2 ワードの左端/右端の 2 つの子、および左端と右端の孫です。上記のPOSタグ。すべての子/孫のアーク ラベル。
入力は行列に埋め込まれ、2 つの行列 (および図に示されているように立方体関数) によって変換されて、ロジットになり、ネットワーク上の 3 つの要素の分布になります。
HTH :)
参考文献: 1) A Fast and Accurate Dependency Parser using Neural Networks , 2) CMU Neural Nets for NLP 2017 (12): Transition-based Dependency Parsing
于 2020-01-22T07:34:19.420 に答える