CRFSuite を使おうとしていますが、example/ner.py と pos.py の使い方がわかりません。
正確には、フォームの入力を行うにはどうすればよいですか:
# Ner.py
fields = 'y w pos chk'
また
# Pos.py
fields = 'w num cap sym p1 p2 p3 p4 s1 s2 s3 s4 y'
たとえば、「yw pos」は CoNNL モデルから取得できますが、「chk」部分と pos.py のすべてのフィールドは実際には取得できません。
また、トレーニング済みのモデルがある場合、CRFSuite を使用して生のテキスト (これらすべてのタグなし) を処理する方法はありますか?
@ミシェルは正しいです。このタスクには別のデータセットが必要です。データセットはここにあると思います: http://www.cnts.ua.ac.be/conll2003/ner/
ner.pyまたはpos.py、チュートリアルの作成者が提供するデータを使用することはできません。適切な CoNLL-2000 データ セットが必要です。:)
例として、ここで見つけることができます
あなたの質問に正しく答えられたことを願っています。
pos.pyファイルを少し変更して、本来の処理を実行する方が簡単であることがわかりました。現在、 の入力形式はですpos.pyが'w y'、機能'num cap sym p1 p2 p3 p4 s1 s2 s3 s4'はすべてスクリプト自体によって生成されます。これでpos.py問題は解決するはずです。要点は次のとおりです。
https://gist.github.com/fnl/21116fa57527946c5dbe
スクリプトに関してはner.py、@Legend がすでに回答しているように、関連する入力データ形式は、たとえば次の場所にあります。