修士論文の一環として、質問分類・回答コーパスの構築に取り組んでいます。評価者間の合意/信頼性に関して、予想される回答タイプの分類法を評価しようとしていますが、疑問に思っていました:これを実行できる適切な (できれば無料の) Java API を知っている人はいますか?
この時点で必要なのは、Fleiss の Kappa と Krippendorff の Alpha だけであると確信しています。
Weka はその評価パッケージでカッパ統計を提供しますが、それは分類子しか評価できないと思います。私はまだその段階ではありません (まだデータセットとクラスを構築しているため)。
ありがとう。
Fleiss の kappa の matlab 実装を Python/numpy に移植しました。
http://code.google.com/p/hydrat/source/browse/src/hydrat/common/fleiss.py
実装するのは難しくありません。おそらく、自分で Java に移植できます。
QDAP（ピッツバーグ大学）のオープンソースコードを確認してください。
調査に間に合うように既存のJavaAPIを見つけることができなかったため、フライスのカッパとクリッペンドルフのアルファの両方を自分で実装することになりました。私たちの研究の予備的な結果は、この論文で見つけることができます。