metadata - 名前付きエンティティの認識に条件付きランダム フィールドを使用する

Question

条件付き確率場とは？Conditional Random Fieldは、構造化テキストまたは非構造化テキスト内の人物、組織、または場所として固有名を正確にどのように識別しますか?

例: この製品は、StackOverFlow Inc. によって注文されました。

StackOverFlow Inc. を組織として識別するために、Conditional Random Field は何をしますか?

Answer 1

CRF は、最大エントロピー マルコフ モデルと同じ一般的なファミリーにある、識別可能なバッチ タグ付けモデルです。

完全な説明は本の長さです。

簡単な説明は次のとおりです。

1. 人間は 200 ～ 500K 語のテキストに注釈を付け、エンティティをマークします。
2. 人間は、エンティティを示すことを期待する一連の機能を選択します。大文字の使用、または単語がタグ付きのトレーニング セットで見られたかどうかなど。
3. トレーニング手順は、特徴のすべての出現をカウントします。
4. CRF アルゴリズムの本質は、カウントに適合するすべての可能なモデルの空間を検索して、かなり良いモデルを見つけます。
5. 実行時に、デコーダー (おそらくビタビ デコーダー) が文を見て、各単語に割り当てるタグを決定します。

これの難しい部分は、機能の選択とステップ 4 の検索アルゴリズムです。