python - スタンフォードパーサーを使用して文が文法的に正しいかどうかを確認する

Question

文が文法的に正しいかどうか、またはスタンフォード パーサーを使用していないかどうかを確認する方法はありますか? 今のところ、スタンフォードパーサーを使用して文の解析ツリーを取得できます。ここで立ち往生し、さらに先に進む方法がわかりません。

Answer 1

larsmans は、これらのパーサーがそのために設計されていないことは正しいですが、ここにハックがあります:

パーサー「confidence」を使用してみることができます。各確率的パーサーは、さまざまなタグの確率を計算し、最も可能性の高いシーケンスを割り当てます。私はこれを品詞タガー ( http://www.ark.cs.cmu.edu/TweetNLP/ ) で試しました。各タグはある程度の信頼度 (0.93、0.45 など) で割り当てられます。センテンス内のすべてのタグの平均信頼度を計算し、それを(コーパス内の他のセンテンスに基づく)信頼度しきい値と比較します。

タグの信頼度が十分に高くない場合は、明らかに、文が文法的に正しくないと思います。句読点や 1 語の文の処理など、さらにヒューリスティックを使用した後、うまくいきました。

スタンフォード パーサーは確率論的であり、確かに確率を計算しますが、ボックスの信頼性を得ることができませんでした。おそらく、掘り下げて、それを公開する方法を確認する必要があります。