3 人のアノテーターと共に、BRAT ( http://brat.nlplab.org/ ) を使用して、PERS、ORG、GPE の 3 つのカテゴリのテキストのサンプルに注釈を付けています。そのサンプルの Inter Annotator Agreement を計算したいと思います。しかし、私はそれを行う簡単な方法を見つけていないようです。この Python パッケージを試してみました: https://github.com/savkov/BratUtilsですが、失敗するようです。
注釈付きのサンプルごとに、Inter Annotator Agreement を計算したい 3 つの .ann ファイルがあります。ファイル内のデータは次のようになります。
T1 Person 173 183 Alexanders
T2 Person 444 450 Hannah
T3 Person 754 766 Corneliszoon
T4 GPE 787 796 Antwerpen
T5 Person 824 833 Alexander
(Python または Web ベースのツールを使用して) Inter Annotator Agreement を計算する簡単な方法はありますか?