nlp - カスタム NER および POS タグ付け

Question

NER と POS のタグ付けを理解するために、Stanford CoreNLP を調べていました。しかし、エンティティのカスタム タグを作成したい場合はどうすればよい<title>Nights</title>, <genre>Jazz</genre>, <year>1992</year>ですか? この場合、CoreNLP は役に立ちますか?

Answer 1

すぐに使用できる CoreNLP は、言及されているタイプに制限されます: PERSON、LOCATION、ORGANIZATION、MISC、DATE、TIME、MONEY、NUMBER。いいえ、「直感的に」できると仮定するだけでは、他のエンティティを認識することはできません:)

実際には、次のいずれかを選択する必要があります。

1. それらのタイプにタグを付ける別の NER システムを見つける
2. 知識ベース/教師なしアプローチを使用して、このタグ付けタスクに対処します。
3. 認識したいタイプを含む追加のリソース (コーパス) を検索し、教師付き NER システム (CoreNLP またはその他) を再トレーニングします。
4. 独自のリソースを作成 (および場合によっては注釈を付けます) - 次に、注釈スキーム、ルールなどを定義する必要があります。これは作業の非常に興味深い部分です!

確かに、ニーズを満たす既存のシステムが見つからない限り、多少の努力が必要になります。教師なしアプローチは、専用のコーパスを見つけて注釈を付ける必要があるかどうかを確認するために、システムをブートストラップするのに役立つ場合があります。後者の場合、結果のシステムが目に見えないデータに対してどの程度のパフォーマンスを発揮するかを評価できるように、データをトレーニング/開発/テストの部分として分離することをお勧めします。

Answer 2

この FAQ ( http://nlp.stanford.edu/software/crf-faq.shtml ) を参照して、CRF 分類子を使用してモデルを新しいクラス用にトレーニングしてください。役に立つかもしれません。