leave-one-out リサンプリングのすべての反復について、集計されたパフォーマンス メジャー (精度) を計算したいと考えています。
1 回の反復では、メジャーの結果は 0、1 (正のクラスが予測される場合) または NaN (負のクラスが予測される場合) のみです。
これをリサンプリング全体の既存の値で集計したいのですが、集計結果は常に NaN になります (当然、多くの反復で NaN になります)。これを行う方法を(ResampleResult$aggregate()のヘルプページから)理解できませんでした:
gr = po(lrn("classif.kknn", predict_type = "prob"),
param_vals = list(k = 10, distance=2, kernel='rectangular' )) %>>%
po("threshold", param_vals = list(thresholds = 0.5))
glrn = GraphLearner$new(gr)
resampling = rsmp("loo")
rr = resample(task, glrn, resampling, store_models = TRUE)
rr$aggregate(msr("classif.precision"))