0

連続変数（ "relative_frequency_total"）をバイナリ値（ "topicality"）にマップしようとしています。特定のしきい値を超えるすべての値を1つにマップする必要があり、すべてを他の値以下にマップする必要があります。結果の変数を可能な限り予測し続けたいので、最初に連続変数の各十分位数を取得し、その十分位数をカットオフポイントとして使用してrelative_frequency_totalをマッピングし、結果のバイナリ変数をロジスティック回帰モデルにフィードし、そのモデルのR2を覚えておいてください。 、 このような：

quant_eval = data.frame("quantile" = numeric(100), "R2" = numeric(100))
counter = 1
for(q in seq(1,11,by=1)){
    dom$topicality[dom$ranked_frequency_total > quantile(dom$ranked_frequency_total)[q]] <- "topical"
    dom$topicality[dom$ranked_frequency_total <= quantile(dom$ranked_frequency_total)[q]] <- "non-topical"
    tmp.lrm <- lrm(DOM ~ as.factor(topicality), data=dom)
    quant_eval[counter,"quantile"] = q
    quant_eval[counter,"R2"] = tmp.lrm$stats["R2"]
    counter = counter+1
}
quant_eval

ここに私の質問があります：

（1）これは分位数1〜4でうまく機能しますが、5番目に、「トピック性のカテゴリレベルが2未満です」というエラーメッセージが表示されます。どういう意味ですか？

（2）私を本当に混乱させているのは、このエラーメッセージが分位数を試す順序に依存しているように見えることです。たとえば、ループなしで分位1または10を試してみると、すべて問題ありません。分位数5を単独で試行すると、エラーメッセージが表示され、その後1と10を再試行すると、エラーメッセージも表示されます。lrm（）はどういうわけか私が最後にしたことを覚えていますか、それともこれはなぜですか？また、ranked_frequency_totalのマッピングに同じ列を何度も再利用していることが原因かもしれないと思いましたが、列の名前をeaに変更してみました

元のデータフレームのdomはかなり巨大ですが、私にとっては、エラーメッセージは次の抜粋で繰り返すことができます。

   DOM relative_frequency_total
1  DAT             0.0203549061
2  DAT             0.0203549061
3  NOM             0.0005219207
4  NOM             0.0005219207
5  NOM             0.0005219207
6  NOM             0.0005219207
7  NOM             0.0015657620
8  NOM             0.0015657620
9  NOM             0.0015657620
10 NOM             0.0005219207
11 NOM             0.0005219207
12 NOM             0.0010438413
13 NOM             0.0010438413
14 NOM             0.0041753653
15 NOM             0.0005219207
16 NOM             0.0005219207
17 NOM             0.0041753653
18 NOM             0.0005219207
19 NOM             0.0010438413
20 NOM             0.0020876827
4

1 に答える 1

0

のドキュメントを確認してください?quantile。デフォルトで実行するquantileと、五分位（正確にカットポイント）が得られます。

quantile(dom$ranked_frequency_total)
         0%         25%         50%         75%        100% 
0.001747327 0.007373624 0.012441222 0.015827876 0.020194380

何が起こっているのかというと、q = 5に達すると、すべてがrelative_frequency_total分位数（dom $ranked_frequency_total）[5]以下になります。これは、定義上、の最大値ですdom$ranked_frequency_total。したがって、すべての独立変数はまったく同じです。つまり、2つの要素レベルではなく、1つの要素レベルがあります。

十分位数に分割したいので、次を使用できると思います。

quantile(dom$ranked_frequency_total,probs=seq(0,1,0.1))

ただし、同じ問題が発生しないように、必ず9まで上げてください。

# Only set the rows you need
# quant_eval = data.frame("quantile" = numeric(100), "R2" = numeric(100))
quant_eval = data.frame("quantile" = numeric(9), "R2" = numeric(9))
# counter = 1 # No need for counter, just use q
for(q in 1:9){
    # ifelse works nice here
    # dom$topicality[dom$ranked_frequency_total > quantile(dom$ranked_frequency_total)[q]]     <- "topical"
    # dom$topicality[dom$ranked_frequency_total <= quantile(dom$ranked_frequency_total)[q]] <- "non-topical"
    dom$topicality=ifelse(dom$ranked_frequency_total > quantile(dom$ranked_frequency_total,probs=seq(0,1,0.1))[q],'topical','non-topical')
    tmp.lrm <- lrm(DOM ~ as.factor(topicality), data=dom)
    quant_eval[q,"quantile"] = q
    quant_eval[q,"R2"] = tmp.lrm$stats["R2"]
    # counter = counter+1
}

しかし、もう少しエレガントにすることもできます。

cut.points=10
quan.r2=function(q) {
    topicality=ifelse(dom$ranked_frequency_total > quantile(dom$ranked_frequency_total,probs=seq(0,1,1/cut.points))[q],'topical','non-topical')
    c(quantile=q,lrm(DOM ~ as.factor(topicality), data=dom)$stats['R2'])
}
t(sapply(seq(cut.points-1),quan.r2))

      quantile         R2
 [1,]        1 0.02216367
 [2,]        2 0.04580822
 [3,]        3 0.09620369
 [4,]        4 0.49200275
 [5,]        5 0.37952599
 [6,]        6 0.29053577
 [7,]        7 0.21660100
 [8,]        8 0.15282620
 [9,]        9 0.09620369
于 2012-07-26T16:24:22.503 に答える