Irr パッケージで提供される Light のカッパを使用して、スコアリング システムの R でオブザーバー間の信頼性を計算しようとしています。これは、15 人の観察者が、存在するもの (「1」) または存在しないもの (「0」) に対して 20 の被験者を採点する、完全に交差したデザインです。これは私のデータ フレームです (Excel シートからインポート):
library(irr)
my.df #my dataframe
a b c d e f g h i j k l m n o
1 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0
2 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
3 0 0 0 0 0 0 0 0 0 0 1 0 0 1 0
4 0 1 1 0 0 0 1 0 0 0 0 0 0 0 0
5 0 1 0 0 1 1 0 0 0 1 1 0 0 1 0
6 0 1 0 0 1 1 0 0 0 0 0 1 1 0 0
7 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
8 0 0 1 0 0 0 0 0 0 1 0 0 0 0 0
9 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
10 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0
11 0 1 1 1 0 1 0 0 0 1 0 0 0 0 1
12 0 1 0 0 0 1 0 1 0 1 0 0 1 0 0
13 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0
14 0 1 0 1 0 1 1 0 0 1 1 1 1 1 0
15 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
16 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0
17 0 1 0 1 1 1 0 0 0 0 0 1 1 1 0
18 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
19 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
20 0 1 0 1 0 0 0 0 0 0 0 0 0 0 0
次に、カッパ値を計算しようとすると、次の応答が得られます
kappam.light(my.df) #calculating the kappa-value
Light's Kappa for m Raters
Subjects = 20
Raters = 15
Kappa = NaN
z = NaN
p-value = NaN
Warning messages:
1: In sqrt(varkappa) : NaNs produced
2: In sqrt(varkappa) : NaNs produced
3: In sqrt(varkappa) : NaNs produced
4: In sqrt(varkappa) : NaNs produced
5: In sqrt(varkappa) : NaNs produced
6: In sqrt(varkappa) : NaNs produced
7: In sqrt(varkappa) : NaNs produced
8: In sqrt(varkappa) : NaNs produced
9: In sqrt(varkappa) : NaNs produced
10: In sqrt(varkappa) : NaNs produced
すべての変数のクラスを因子、文字、数値、ブール値に変更しようとしました。何も機能しません。「1」のスコアが比較的少ないことと関係があるのではないかと思います。助言がありますか?
編集:データを除外することなく、問題の解決策を見つけました。有病率とバイアス調整カッパを計算するには、バイレートの問題に pabak を使用できます。このようなマルチレートの問題では、ランドルフのカッパを使用する必要があります。これは、フライスのカッパに基づいているため、分散は考慮されていません。私が抱えていた問題に理想的です。
オンライン計算機はこちらにあります R では、Raters パッケージを使用できます。2 つの方法の結果を比較しましたが、結果は実質的に同じです (小数点以下第 6 位の差)。