python - Python での評価者間合意 (Cohen's Kappa)

Question

3 人の評価者による 60 件の評価があります。これらはドキュメント別に整理されたリストです。最初の要素は最初のドキュメントの評価を参照し、2 番目の要素は 2 番目のドキュメントの評価を参照します。

rater1 = [-8,-7,8,6,2,-5,...]
rater2 = [-3,-5,3,3,2,-2,...]
rater3 = [-4,-2,1,0,0,-2,...]

Cohen's Kappa の Python 実装はどこかにありますか? numpy や scipy には何も見つかりませんでしたし、stackoverflow にも何も見つかりませんでしたが、見逃したのでしょうか? これは非常に一般的な統計であるため、Python のような言語でこれを見つけることができないことに驚いています。

Answer 1

古い質問ですが、参考までに、Kappa は skll メトリクス パッケージにあります。

http://skll.readthedocs.org/en/latest/api/metrics.html#skll.metrics.kappa

Answer 2

主要なライブラリに含まれていることはわかりませんが、グーグルで検索すると、さまざまな「クックブック」タイプのサイトなどで実装を見つけることができます。これは、コーエンのカッパ、フライスのカッパ、およびクリッペンドルフのアルファを実装したページです。