r - RデータフレームでNA値をゼロに置き換えるにはどうすればよいですか？

Question

データフレームがあり、一部の列にNA値があります。

NAこれらの値をゼロに置き換えるにはどうすればよいですか？

score 1065 · Accepted Answer

@gsk3回答の私のコメントを参照してください。簡単な例：

> m <- matrix(sample(c(NA, 1:10), 100, replace = TRUE), 10)
> d <- as.data.frame(m)
   V1 V2 V3 V4 V5 V6 V7 V8 V9 V10
1   4  3 NA  3  7  6  6 10  6   5
2   9  8  9  5 10 NA  2  1  7   2
3   1  1  6  3  6 NA  1  4  1   6
4  NA  4 NA  7 10  2 NA  4  1   8
5   1  2  4 NA  2  6  2  6  7   4
6  NA  3 NA NA 10  2  1 10  8   4
7   4  4  9 10  9  8  9  4 10  NA
8   5  8  3  2  1  4  5  9  4   7
9   3  9 10  1  9  9 10  5  3   3
10  4  2  2  5 NA  9  7  2  5   5

> d[is.na(d)] <- 0

> d
   V1 V2 V3 V4 V5 V6 V7 V8 V9 V10
1   4  3  0  3  7  6  6 10  6   5
2   9  8  9  5 10  0  2  1  7   2
3   1  1  6  3  6  0  1  4  1   6
4   0  4  0  7 10  2  0  4  1   8
5   1  2  4  0  2  6  2  6  7   4
6   0  3  0  0 10  2  1 10  8   4
7   4  4  9 10  9  8  9  4 10   0
8   5  8  3  2  1  4  5  9  4   7
9   3  9 10  1  9  9 10  5  3   3
10  4  2  2  5  0  9  7  2  5   5

適用する必要はありませんapply。=）

編集

normパッケージもご覧ください。欠測データ分析のための優れた機能がたくさんあります。=）

score 417 · Accepted Answer

dplyrハイブリッドオプションは、Base Rサブセットの再割り当てよりも約30％高速になりました。100Mデータポイントでは、データフレームはベースRオプションmutate_all(~replace(., is.na(.), 0))よりも0.5秒速く実行されます。d[is.na(d)] <- 0特に避けたいのは、ifelse()またはを使用することif_else()です。（完全な600回の試行分析は、主にこれらのアプローチが含まれているため、4.5時間以上になりました。）完全な結果については、以下のベンチマーク分析を参照してください。

大規模なデータフレームで苦労している場合data.tableは、すべての中で最速のオプションです。標準のBase Rアプローチよりも40％高速です。また、所定の場所にあるデータを変更し、一度にほぼ2倍のデータを効果的に処理できるようにします。

他の有用なtidyverse置換アプローチのクラスタリング

場所：

索引 mutate_at(c(5:10), ~replace(., is.na(.), 0))
直接参照 mutate_at(vars(var5:var10), ~replace(., is.na(.), 0))
固定一致 mutate_at(vars(contains("1")), ~replace(., is.na(.), 0))
- またはの代わりにcontains()、試してみてくださいends_with()、starts_with()
パターンマッチ mutate_at(vars(matches("\\d{2}")), ~replace(., is.na(.), 0))

条件付き:(
単一のタイプのみを変更し、他のタイプはそのままにします。）

整数 mutate_if(is.integer, ~replace(., is.na(.), 0))
数字 mutate_if(is.numeric, ~replace(., is.na(.), 0))
文字列 mutate_if(is.character, ~replace(., is.na(.), 0))

完全な分析-

dplyr 0.8.0用に更新：関数はpurrr形式~のシンボルを使用します：非推奨funs()の引数を置き換えます。

テストされたアプローチ：

# Base R: 
baseR.sbst.rssgn   <- function(x) { x[is.na(x)] <- 0; x }
baseR.replace      <- function(x) { replace(x, is.na(x), 0) }
baseR.for          <- function(x) { for(j in 1:ncol(x))
    x[[j]][is.na(x[[j]])] = 0 }

# tidyverse
## dplyr
dplyr_if_else      <- function(x) { mutate_all(x, ~if_else(is.na(.), 0, .)) }
dplyr_coalesce     <- function(x) { mutate_all(x, ~coalesce(., 0)) }

## tidyr
tidyr_replace_na   <- function(x) { replace_na(x, as.list(setNames(rep(0, 10), as.list(c(paste0("var", 1:10)))))) }

## hybrid 
hybrd.ifelse     <- function(x) { mutate_all(x, ~ifelse(is.na(.), 0, .)) }
hybrd.replace_na <- function(x) { mutate_all(x, ~replace_na(., 0)) }
hybrd.replace    <- function(x) { mutate_all(x, ~replace(., is.na(.), 0)) }
hybrd.rplc_at.idx<- function(x) { mutate_at(x, c(1:10), ~replace(., is.na(.), 0)) }
hybrd.rplc_at.nse<- function(x) { mutate_at(x, vars(var1:var10), ~replace(., is.na(.), 0)) }
hybrd.rplc_at.stw<- function(x) { mutate_at(x, vars(starts_with("var")), ~replace(., is.na(.), 0)) }
hybrd.rplc_at.ctn<- function(x) { mutate_at(x, vars(contains("var")), ~replace(., is.na(.), 0)) }
hybrd.rplc_at.mtc<- function(x) { mutate_at(x, vars(matches("\\d+")), ~replace(., is.na(.), 0)) }
hybrd.rplc_if    <- function(x) { mutate_if(x, is.numeric, ~replace(., is.na(.), 0)) }

# data.table   
library(data.table)
DT.for.set.nms   <- function(x) { for (j in names(x))
    set(x,which(is.na(x[[j]])),j,0) }
DT.for.set.sqln  <- function(x) { for (j in seq_len(ncol(x)))
    set(x,which(is.na(x[[j]])),j,0) }
DT.nafill        <- function(x) { nafill(df, fill=0)}
DT.setnafill     <- function(x) { setnafill(df, fill=0)}

この分析のコード：

library(microbenchmark)
# 20% NA filled dataframe of 10 Million rows and 10 columns
set.seed(42) # to recreate the exact dataframe
dfN <- as.data.frame(matrix(sample(c(NA, as.numeric(1:4)), 1e7*10, replace = TRUE),
                            dimnames = list(NULL, paste0("var", 1:10)), 
                            ncol = 10))
# Running 600 trials with each replacement method 
# (the functions are excecuted locally - so that the original dataframe remains unmodified in all cases)
perf_results <- microbenchmark(
    hybrid.ifelse    = hybrid.ifelse(copy(dfN)),
    dplyr_if_else    = dplyr_if_else(copy(dfN)),
    hybrd.replace_na = hybrd.replace_na(copy(dfN)),
    baseR.sbst.rssgn = baseR.sbst.rssgn(copy(dfN)),
    baseR.replace    = baseR.replace(copy(dfN)),
    dplyr_coalesce   = dplyr_coalesce(copy(dfN)),
    tidyr_replace_na = tidyr_replace_na(copy(dfN)),
    hybrd.replace    = hybrd.replace(copy(dfN)),
    hybrd.rplc_at.ctn= hybrd.rplc_at.ctn(copy(dfN)),
    hybrd.rplc_at.nse= hybrd.rplc_at.nse(copy(dfN)),
    baseR.for        = baseR.for(copy(dfN)),
    hybrd.rplc_at.idx= hybrd.rplc_at.idx(copy(dfN)),
    DT.for.set.nms   = DT.for.set.nms(copy(dfN)),
    DT.for.set.sqln  = DT.for.set.sqln(copy(dfN)),
    times = 600L
)

結果の要約

> print(perf_results)
Unit: milliseconds
              expr       min        lq     mean   median       uq      max neval
      hybrd.ifelse 6171.0439 6339.7046 6425.221 6407.397 6496.992 7052.851   600
     dplyr_if_else 3737.4954 3877.0983 3953.857 3946.024 4023.301 4539.428   600
  hybrd.replace_na 1497.8653 1706.1119 1748.464 1745.282 1789.804 2127.166   600
  baseR.sbst.rssgn 1480.5098 1686.1581 1730.006 1728.477 1772.951 2010.215   600
     baseR.replace 1457.4016 1681.5583 1725.481 1722.069 1766.916 2089.627   600
    dplyr_coalesce 1227.6150 1483.3520 1524.245 1519.454 1561.488 1996.859   600
  tidyr_replace_na 1248.3292 1473.1707 1521.889 1520.108 1570.382 1995.768   600
     hybrd.replace  913.1865 1197.3133 1233.336 1238.747 1276.141 1438.646   600
 hybrd.rplc_at.ctn  916.9339 1192.9885 1224.733 1227.628 1268.644 1466.085   600
 hybrd.rplc_at.nse  919.0270 1191.0541 1228.749 1228.635 1275.103 2882.040   600
         baseR.for  869.3169 1180.8311 1216.958 1224.407 1264.737 1459.726   600
 hybrd.rplc_at.idx  839.8915 1189.7465 1223.326 1228.329 1266.375 1565.794   600
    DT.for.set.nms  761.6086  915.8166 1015.457 1001.772 1106.315 1363.044   600
   DT.for.set.sqln  787.3535  918.8733 1017.812 1002.042 1122.474 1321.860   600

結果の箱ひげ図

ggplot(perf_results, aes(x=expr, y=time/10^9)) +
    geom_boxplot() +
    xlab('Expression') +
    ylab('Elapsed Time (Seconds)') +
    scale_y_continuous(breaks = seq(0,7,1)) +
    coord_flip()

色分けされた試行の散布図（対数目盛のy軸付き）

qplot(y=time/10^9, data=perf_results, colour=expr) + 
    labs(y = "log10 Scaled Elapsed Time per Trial (secs)", x = "Trial Number") +
    coord_cartesian(ylim = c(0.75, 7.5)) +
    scale_y_log10(breaks=c(0.75, 0.875, 1, 1.25, 1.5, 1.75, seq(2, 7.5)))

他のハイパフォーマーに関するメモ

データセットが大きくなると、Tidyrreplace_naは歴史的に前に出ていました。実行する1億個のデータポイントの現在のコレクションを使用すると、 Base RForLoopとほぼ同じように機能します。さまざまなサイズのデータフレームで何が起こるのか知りたいです。

mutateandsummarize _atおよび_allfunctionバリアントの追加の例は、 https：//rdrr.io/cran/dplyr/man/summarise_all.html にあります。さらに、役立つデモンストレーションと例のコレクションがここにあります：https ：//blog.exploratory。 io / dplyr-0-5-is-awesome-heres-why-be095fd4eb8a

帰属と感謝

特に感謝します：

マイクロベンチマークをデモンストレーションしてくれたTylerRinkerとAkrun。
alexis_lazは、の使用法を理解するのを助けてくれてlocal()、そして（フランクの忍耐強い助けを借りて）これらのアプローチの多くをスピードアップするのにサイレント強制が果たす役割を教えてくれました。
ArthurYipは、新しいcoalesce()関数を追加して分析を更新するためのポークです。
data.table最終的にラインナップに含めるのに十分な機能を理解するためのナッジのためのグレゴール。
ベースRForループ：alexis_laz
data.table Forループ：Matt_Dowle
is.numeric()何が実際にテストされるかを説明してくれたRoman 。

（もちろん、これらのアプローチが役立つと思われる場合は、連絡を取り、賛成票を投じてください。）

数値の使用に関する注意： 純粋な整数データセットがある場合、すべての関数がより高速に実行されます。詳細については、 alexiz_lazの作品をご覧ください。IRL、10〜15％を超える整数を含むデータセットに遭遇したことを思い出せないので、完全に数値のデータフレームでこれらのテストを実行しています。

ハードウェア使用 3.9GHzCPU、24 GB RAM

score 149 · Accepted Answer

単一のベクトルの場合：

x <- c(1,2,NA,4,5)
x[is.na(x)] <- 0

data.frameの場合、上記から関数を作成しapplyてから、列に追加します。

次回、再現可能な例をここに詳しく説明してください。

優れたRの再現可能な例を作成するにはどうすればよいですか？

score 85 · Accepted Answer

dplyrの例：

library(dplyr)

df1 <- df1 %>%
    mutate(myCol1 = if_else(is.na(myCol1), 0, myCol1))

注：これは選択した列ごとに機能します。すべての列に対してこれを行う必要がある場合は、mutate_eachを使用した@reidjaxの回答を参照してください。

score 66 · Accepted Answer

エクスポート時にsを置き換えようとしている場合NA、たとえばcsvに書き込む場合は、次を使用できます。

  write.csv(data, "data.csv", na = "0")

score 56 · Accepted Answer

私は質問がすでに答えられていることを知っていますが、このようにすることは一部の人にとってより役立つかもしれません：

この関数を定義します。

na.zero <- function (x) {
    x[is.na(x)] <- 0
    return(x)
}

これで、ベクトル内のNAをゼロに変換する必要があるときはいつでも次のことができます。

na.zero(some.vector)

score 48 · Accepted Answer

を使用することも可能tidyr::replace_naです。

    library(tidyr)
    df <- df %>% mutate_all(funs(replace_na(.,0)))

編集（dplyr> 1.0.0）：

df %>% mutate(across(everything(), .fns = ~replace_na(.,0)))

score 29 · Accepted Answer

に置き換えるためreplace()に行列またはベクトルで使用するより一般的なアプローチNA0

例えば：

> x <- c(1,2,NA,NA,1,1)
> x1 <- replace(x,is.na(x),0)
> x1
[1] 1 2 0 0 1 1

ifelse()これは、で使用する代わりにもなりますdplyr

df = data.frame(col = c(1,2,NA,NA,1,1))
df <- df %>%
   mutate(col = replace(col,is.na(col),0))

score 27 · Accepted Answer

0.5.0dplyrでは、を実行することでパイプラインcoalesceに簡単に統合できる関数を使用できます。これにより、のすべてのNAが0に置き換えられます。%>%coalesce(vec, 0)vec

NAsのデータフレームがあるとします。

library(dplyr)
df <- data.frame(v = c(1, 2, 3, NA, 5, 6, 8))

df
#    v
# 1  1
# 2  2
# 3  3
# 4 NA
# 5  5
# 6  6
# 7  8

df %>% mutate(v = coalesce(v, 0))
#   v
# 1 1
# 2 2
# 3 3
# 4 0
# 5 5
# 6 6
# 7 8

score 15 · Accepted Answer

データフレーム内のすべてのNAを置き換えるには、次を使用できます。

df %>% replace(is.na(.), 0)

score 11 · Accepted Answer

@ianmunozの投稿にコメントしただろうが、私には十分な評判がありません。を組み合わせて、交換dplyrの世話をするmutate_eachことができます。@aL3xaの回答からのデータフレームを使用しています...replaceNA0

> m <- matrix(sample(c(NA, 1:10), 100, replace = TRUE), 10)
> d <- as.data.frame(m)
> d

    V1 V2 V3 V4 V5 V6 V7 V8 V9 V10
1   4  8  1  9  6  9 NA  8  9   8
2   8  3  6  8  2  1 NA NA  6   3
3   6  6  3 NA  2 NA NA  5  7   7
4  10  6  1  1  7  9  1 10  3  10
5  10  6  7 10 10  3  2  5  4   6
6   2  4  1  5  7 NA NA  8  4   4
7   7  2  3  1  4 10 NA  8  7   7
8   9  5  8 10  5  3  5  8  3   2
9   9  1  8  7  6  5 NA NA  6   7
10  6 10  8  7  1  1  2  2  5   7

> d %>% mutate_each( funs_( interp( ~replace(., is.na(.),0) ) ) )

    V1 V2 V3 V4 V5 V6 V7 V8 V9 V10
1   4  8  1  9  6  9  0  8  9   8
2   8  3  6  8  2  1  0  0  6   3
3   6  6  3  0  2  0  0  5  7   7
4  10  6  1  1  7  9  1 10  3  10
5  10  6  7 10 10  3  2  5  4   6
6   2  4  1  5  7  0  0  8  4   4
7   7  2  3  1  4 10  0  8  7   7
8   9  5  8 10  5  3  5  8  3   2
9   9  1  8  7  6  5  0  0  6   7
10  6 10  8  7  1  1  2  2  5   7

ここでは標準評価（SE）を使用しているため、「funs_。」にアンダースコアが必要です。また、lazyeval's interp/~と、.「作業しているすべてのもの」、つまりデータフレームを参照します。今、ゼロがあります！

score 10 · Accepted Answer

因子変数のNAを置き換える場合は、次のようにすると便利です。

n <- length(levels(data.vector))+1

data.vector <- as.numeric(data.vector)
data.vector[is.na(data.vector)] <- n
data.vector <- as.factor(data.vector)
levels(data.vector) <- c("level1","level2",...,"leveln", "NAlevel")

因子ベクトルを数値ベクトルに変換し、別の人工的な数値因子レベルを追加します。次に、選択した1つの追加の「NAレベル」を使用して因子ベクトルに変換し直します。

score 10 · Accepted Answer

10

imputeTSパッケージを使用した別の例：

library(imputeTS)
na.replace(yourDataframe, 0)

于 2016-11-10T18:21:37.963 に答える

score 8 · Accepted Answer

専用の関数、nafillおよびsetnafill、その目的のために。にありdata.tableます。利用可能な場合は常に、複数のスレッドで計算される列を分散します。

library(data.table)

ans_df <- nafill(df, fill=0)

# or even faster, in-place
setnafill(df, fill=0)

score 6 · Accepted Answer

使用できますreplace()

例えば：

> x <- c(-1,0,1,0,NA,0,1,1)
> x1 <- replace(x,5,1)
> x1
[1] -1  0  1  0  1  0  1  1

> x1 <- replace(x,5,mean(x,na.rm=T))
> x1
[1] -1.00  0.00  1.00  0.00  0.29  0.00 1.00  1.00

score 6 · Accepted Answer

ライブラリを使用する必要はありません。

df <- data.frame(a=c(1,3,5,NA))

df$a[is.na(df$a)] <- 0

df

score 4 · Accepted Answer

複数の列で機能するメソッドを備えた別のdplyrパイプ互換オプション：tidyrreplace_na

require(dplyr)
require(tidyr)

m <- matrix(sample(c(NA, 1:10), 100, replace = TRUE), 10)
d <- as.data.frame(m)

myList <- setNames(lapply(vector("list", ncol(d)), function(x) x <- 0), names(d))

df <- d %>% replace_na(myList)

たとえば、数値列に簡単に制限できます。

d$str <- c("string", NA)

myList <- myList[sapply(d, is.numeric)]

df <- d %>% replace_na(myList)

score 3 · Accepted Answer

Datacampから抽出されたこの単純な関数は、次のことに役立ちます。

replace_missings <- function(x, replacement) {
  is_miss <- is.na(x)
  x[is_miss] <- replacement

  message(sum(is_miss), " missings replaced by the value ", replacement)
  x
}

それで

replace_missings(df, replacement = 0)

score 3 · Accepted Answer

それを書く簡単な方法はif_nafrom hablar：です。

library(dplyr)
library(hablar)

df <- tibble(a = c(1, 2, 3, NA, 5, 6, 8))

df %>% 
  mutate(a = if_na(a, 0))

これは次を返します：

score 3 · Accepted Answer

cleanerパッケージにはna_replace()ジェネリックがあり、デフォルトでは数値がゼロに、論理がにFALSE、日付が今日に置き換えられます。

starwars %>% na_replace()
na_replace(starwars)

ベクトル化された置換もサポートします。

mtcars[1:6, c("mpg", "hp")] <- NA
na_replace(mtcars, mpg, hp, replacement = c(999, 123))

ドキュメント：https ：//msberends.github.io/cleaner/reference/na_replace.html

score 2 · Accepted Answer

特定の列（この場合は列V3）のNAを変更した後に新しい名前を割り当てる場合は、次のようにすることもできます。

my.data.frame$the.new.column.name <- ifelse(is.na(my.data.frame$V3),0,1)

score 2 · Accepted Answer

データフレームのis.naとNULLを置き換えます。

柱のあるデータフレーム

A $ name [is.na（A $ name）] <-0

また

A $ name [is.na（A $ name）] <-"NA"

すべてのデータフレームで

df [is.na（df）] <-0

データフレームでnaを空白に置き換えます

df [is.na（df）] <-""

NULLをNAに置き換えます

df [is.null（df）] <-NA

score 1 · Accepted Answer

dplyr> = 1.0.0

新しいバージョンではdplyr：

cross（）は、summarise_at（）、summarise_if（）、summarise_all（）などの「スコープバリアント」のファミリーに取って代わります。

df <- data.frame(a = c(LETTERS[1:3], NA), b = c(NA, 1:3))

library(tidyverse)

df %>% 
  mutate(across(where(anyNA), ~ replace_na(., 0)))

  a b
1 A 0
2 B 1
3 C 2
4 0 3

0このコードは、最初の列の文字になるように強制されます。NA列タイプに基づいて置き換えるには、次の式でpurrrのような式を使用できwhereます。

df %>% 
  mutate(across(where(~ anyNA(.) & is.character(.)), ~ replace_na(., "0")))

score 0 · Accepted Answer

Hmisc人気のあるパッケージを使用した次のソリューションを追加したいと思います。

library(Hmisc)
data(airquality)
# imputing with 0 - all columns
# although my favorite one for simple imputations is Hmisc::impute(x, "random")
> dd <- data.frame(Map(function(x) Hmisc::impute(x, 0), airquality))
> str(dd[[1]])
 'impute' Named num [1:153] 41 36 12 18 0 28 23 19 8 0 ...
 - attr(*, "names")= chr [1:153] "1" "2" "3" "4" ...
 - attr(*, "imputed")= int [1:37] 5 10 25 26 27 32 33 34 35 36 ...
> dd[[1]][1:10]
  1   2   3   4   5   6   7   8   9  10 
 41  36  12  18  0*  28  23  19   8  0*

すべての代入メタデータが属性として割り当てられていることがわかります。したがって、後で使用できます。

score 0 · Accepted Answer

data.frameでは、mutateによって新しい列を作成する必要はありません。

library(tidyverse)    
k <- c(1,2,80,NA,NA,51)
j <- c(NA,NA,3,31,12,NA)
        
df <- data.frame(k,j)%>%
   replace_na(list(j=0))#convert only column j, for example

結果

score 0 · Accepted Answer

これはまったく新しいソリューションではありませんが、パッケージで実行できないことを処理するインラインラムダを作成するのが好きです。この場合、

df %>%
   (function(x) { x[is.na(x)] <- 0; return(x) })

RはPythonで見られるような「オブジェクトの受け渡し」を行わないため、このソリューションは元の変数dfを変更せず、他のほとんどのソリューションとまったく同じように機能しますが、特定の複雑な知識はほとんど必要ありません。パッケージ。

関数定義の周りの親に注意してください！私には少し冗長に思えますが、関数の定義は中括弧で囲まれているため、インライン関数はのparens内で定義する必要がありますmagrittr。