3

ランダム フォレストまたは条件付きランダム フォレストの単一ツリーの変数の重要度を計算する方法を R で見つけようとしています。
良い出発点は、ツリーrpart:::importanceの変数の重要度を計算するコマンドです。rpart

> library(rpart) 
> rp <- rpart(Kyphosis ~ Age + Number + Start, data = kyphosis)
> rpart:::importance(rp)
   Start      Age   Number 
8.198442 3.101801 1.521863

このrandomForest::getTreeコマンドは、オブジェクトからツリーの構造を抽出する標準ツールですが、次のrandomForestものが返されますdata.frame。

library(randomForest)
rf <- randomForest(Kyphosis ~ Age + Number + Start, data = kyphosis)
tree1 <- getTree(rf, k=1, labelVar=TRUE)
str(tree1)

'data.frame':   29 obs. of  6 variables:
$ left daughter : num  2 4 6 8 10 12 0 0 14 16 ...
$ right daughter: num  3 5 7 9 11 13 0 0 15 17 ...
$ split var     : Factor w/ 3 levels "Age","Number",..: 2 3 1 2 3 3 NA NA 3 1 ...
$ split point   : num  5.5 8.5 78 3.5 14.5 7.5 0 0 3.5 75 ...
$ status        : num  1 1 1 1 1 1 -1 -1 1 1 ...
erce$ prediction    : chr  NA NA NA NA ...

解決策は、コマンドを使用してオブジェクトas.rpartを強制tree1することです。rpart残念ながら、どの R パッケージでもこのコマンドを認識していません。

partyパッケージを使用すると、同様の問題が見つかりました。このvarimpコマンドcforestは、単一のツリーではなく、オブジェクトに対して機能します。

library(party) 
cf <- cforest(Kyphosis ~ Age + Number + Start, data = kyphosis) 
ct <- party:::prettytree(cf@ensemble[[1]], names(cf@data@get("input"))) 
tree2 <- new("BinaryTree") 
tree2@tree <- ct 
tree2@data <- cf@data 
tree2@responses <- cf@responses 
tree2@weights <- cf@initweights
varimp(tree2)

Error in varimp(tree2) : 
   no slot of name "initweights" for this object of class "BinaryTree"

どんな助けでも大歓迎です。

4

1 に答える 1

1

@Alex の提案から始めて、party:::varimp. このコマンドは、標準 (平均減少精度) および条件付き変数の重要度 (VI)cforestを計算します。また、簡単に変更して、森の 1 本の木ごとに VI を計算できます。

set.seed(12345)
y <- cforest(score ~ ., data = readingSkills,
       control = cforest_unbiased(mtry = 2, ntree = 10))

varimp_ctrees <- function (object, mincriterion = 0, conditional = FALSE,
threshold = 0.2, nperm = 1, OOB = TRUE, pre1.0_0 = conditional) {
    response <- object@responses
    if (length(response@variables) == 1 && inherits(response@variables[[1]], 
        "Surv")) 
        return(varimpsurv(object, mincriterion, conditional, 
            threshold, nperm, OOB, pre1.0_0))
    input <- object@data@get("input")
    xnames <- colnames(input)
    inp <- initVariableFrame(input, trafo = NULL)
    y <- object@responses@variables[[1]]
    if (length(response@variables) != 1) 
        stop("cannot compute variable importance measure for multivariate response")
    if (conditional || pre1.0_0) {
        if (!all(complete.cases(inp@variables))) 
            stop("cannot compute variable importance measure with missing values")
    }
    CLASS <- all(response@is_nominal)
    ORDERED <- all(response@is_ordinal)
    if (CLASS) {
        error <- function(x, oob) mean((levels(y)[sapply(x, which.max)] != 
            y)[oob])
    } else {
        if (ORDERED) {
            error <- function(x, oob) mean((sapply(x, which.max) != 
                y)[oob])
        } else {
            error <- function(x, oob) mean((unlist(x) - y)[oob]^2)
        }
    }
    w <- object@initweights
    if (max(abs(w - 1)) > sqrt(.Machine$double.eps)) 
        warning(sQuote("varimp"), " with non-unity weights might give misleading results")
    perror <- matrix(0, nrow = nperm * length(object@ensemble), 
        ncol = length(xnames))
    colnames(perror) <- xnames
    for (b in 1:length(object@ensemble)) {
        tree <- object@ensemble[[b]]
        if (OOB) {
            oob <- object@weights[[b]] == 0
        } else {
            oob <- rep(TRUE, length(y))
        }
        p <- .Call("R_predict", tree, inp, mincriterion, -1L, 
            PACKAGE = "party")
        eoob <- error(p, oob)
        for (j in unique(party:::varIDs(tree))) {
            for (per in 1:nperm) {
                if (conditional || pre1.0_0) {
                  tmp <- inp
                  ccl <- create_cond_list(conditional, threshold, 
                    xnames[j], input)
                  if (is.null(ccl)) {
                    perm <- sample(which(oob))
                  }  else {
                    perm <- conditional_perm(ccl, xnames, input, 
                      tree, oob)
                  }
                  tmp@variables[[j]][which(oob)] <- tmp@variables[[j]][perm]
                  p <- .Call("R_predict", tree, tmp, mincriterion, 
                    -1L, PACKAGE = "party")
                } else {
                  p <- .Call("R_predict", tree, inp, mincriterion, 
                    as.integer(j), PACKAGE = "party")
                }
                perror[(per + (b - 1) * nperm), j] <- (error(p, 
                  oob) - eoob)
            }
        }
    }
    perror <- as.data.frame(perror)
    return(list(MeanDecreaseAccuracy = colMeans(perror), VIMcTrees=perror))
}

VIMcTreesは、森の木の数に等しい行数と各説明変数の列を持つ行列です。この行列の (i,j) 要素は、 i 番目のツリーのj番目の変数のVIです。

varimp_ctrees(y)$VIMcTrees

   nativeSpeaker       age  shoeSize
1       4.853855  30.06969 52.271824
2      15.740311  70.55825  5.409772
3      17.022082 113.86020  0.000000
4      22.003119  19.62134 50.634286
5       6.070659  28.58817 47.049866
6      16.508634 105.50321  2.302387
7      11.487349  31.80002 46.147677
8      19.250631  27.78282 43.589832
9      19.669478  98.73722  0.483079
10     11.748669  85.95768  5.812538
于 2015-12-30T20:56:01.197 に答える