r - data.frameで欠落している値を報告するエレガントな方法

Question

これは、データフレームから値が欠落している変数をレポートするために作成した小さなコードです。私はこれを行うためのよりエレガントな方法を考えようとしています。おそらくdata.frameを返す方法ですが、行き詰まっています。

for (Var in names(airquality)) {
    missing <- sum(is.na(airquality[,Var]))
    if (missing > 0) {
        print(c(Var,missing))
    }
}

編集：私は数十から数百の変数を持つdata.framesを扱っているので、欠落している値を持つ変数のみを報告することが重要です。

score 164 · Accepted Answer

使用するだけsapply

> sapply(airquality, function(x) sum(is.na(x)))
  Ozone Solar.R    Wind    Temp   Month     Day 
     37       7       0       0       0       0

によって作成されたマトリックスでapplyまたはを使用することもできますcolSumsis.na()

> apply(is.na(airquality),2,sum)
  Ozone Solar.R    Wind    Temp   Month     Day 
     37       7       0       0       0       0
> colSums(is.na(airquality))
  Ozone Solar.R    Wind    Temp   Month     Day 
     37       7       0       0       0       0

score 9 · Accepted Answer

（広すぎない）データの私の新しいお気に入りは、優れたnaniarパッケージのメソッドです。頻度だけでなく、欠落のパターンも取得します。

library(naniar)
library(UpSetR)

riskfactors %>%
  as_shadow_upset() %>%
  upset()

欠落している散布図をプロットすることで達成できる、欠落しているものが欠落していないものとの関係でどこにあるかを確認すると便利なことがよくあります。

ggplot(airquality,
       aes(x = Ozone,
           y = Solar.R)) +
 geom_miss_point()

または、カテゴリ変数の場合：

gg_miss_fct(x = riskfactors, fct = marital)

これらの例は、他の興味深い視覚化をリストしたパッケージビネットからのものです。

score 8 · Accepted Answer

map_dfpurrrで使用できます。

library(mice)
library(purrr)

# map_df with purrr
map_df(airquality, function(x) sum(is.na(x)))
# A tibble: 1 × 6
# Ozone Solar.R  Wind  Temp Month   Day
# <int>   <int> <int> <int> <int> <int>
# 1    37       7     0     0     0     0

score 6 · Accepted Answer

summary(airquality)

すでにこの情報を提供しています

VIMパッケージは、data.frameのいくつかの素晴らしい欠測データプロットも提供します

library("VIM")
aggr(airquality)

score 4 · Accepted Answer

より簡潔-：sum(is.na(x[1]))

あれは

x[1]最初の列を見てください
is.na()それが本当なら本当NA
sum() TRUEです1、FALSEです0

score 4 · Accepted Answer

別のグラフィカルな代替手段-plot_missing優れたDataExplorerパッケージの関数：

ドキュメントは、この結果を保存して追加の分析を行うことができるという事実も指摘していますmissing_data <- plot_missing(data)。

score 2 · Accepted Answer

欠落しているデータを確認するのに役立つもう1つの関数は、funModelingライブラリのdf_statusです。

library(funModeling)

iris.2は、いくつかのNAが追加されたアイリスデータセットです。これをデータセットに置き換えることができます。

df_status(iris.2)

これにより、各列のNAの数とパーセンテージがわかります。

score 2 · Accepted Answer

もう1つのグラフィカルなソリューションとして、visdat パッケージはを提供しますvis_miss。

library(visdat)
vis_miss(airquality)

出力と非常によく似てAmeliaいますが、箱から出して不足しているものに％sを与えるというわずかな違いがあります。

score 1 · Accepted Answer

Ameliaライブラリは、欠落データの処理に優れた役割を果たしていると思います。欠落行を視覚化するためのマップも含まれています。

install.packages("Amelia")
library(Amelia)
missmap(airquality)

次のコードを実行して、naの論理値を返すこともできます

row.has.na <- apply(training, 1, function(x){any(is.na(x))})

score 1 · Accepted Answer

もう1つのグラフィカルでインタラクティブな方法は、ライブラリis.na10の関数を使用することです。heatmaply

library(heatmaply)

heatmaply(is.na10(airquality), grid_gap = 1, 
          showticklabels = c(T,F),
            k_col =3, k_row = 3,
            margins = c(55, 30), 
            colors = c("grey80", "grey20"))

おそらく、大きなデータセットではうまく機能しません。

score 1 · Accepted Answer

dplyrカウントを取得するための解決策は次のとおりです。

summarise_all(df, ~sum(is.na(.)))

またはパーセンテージを取得するには：

summarise_all(df, ~(sum(is_missing(.) / nrow(df))))

また、欠落しているデータは醜く、一貫性がなくNA、ソースやインポート時の処理方法に応じてコード化されるとは限らないことにも注意してください。次の関数は、データと欠落していると見なしたいものに応じて微調整できます。

is_missing <- function(x){
  missing_strs <- c('', 'null', 'na', 'nan', 'inf', '-inf', '-9', 'unknown', 'missing')
  ifelse((is.na(x) | is.nan(x) | is.infinite(x)), TRUE,
         ifelse(trimws(tolower(x)) %in% missing_strs, TRUE, FALSE))
}

# sample ugly data
df <- data.frame(a = c(NA, '1', '  ', 'missing'),
                 b = c(0, 2, NaN, 4),
                 c = c('NA', 'b', '-9', 'null'),
                 d = 1:4,
                 e = c(1, Inf, -Inf, 0))

# counts:
> summarise_all(df, ~sum(is_missing(.)))
  a b c d e
1 3 1 3 0 2

# percentage:
> summarise_all(df, ~(sum(is_missing(.) / nrow(df))))
     a    b    c d   e
1 0.75 0.25 0.75 0 0.5

score 0 · Accepted Answer

特定の列に対して実行する場合は、これを使用することもできます

length(which(is.na(airquality[1])==T))

score 0 · Accepted Answer

ExPanDaRのパッケージ関数prepare_missing_values_graphを使用して、パネルデータを調べることができます。

score 0 · Accepted Answer

配管については、次のように書くことができます。

# Counts 
df %>% is.na() %>% colSums()

# % of missing rounded to 2 decimals 
df %>% summarise_all(.funs = ~round(100*sum(is.na(.))/length(.),2))

r - data.frameで欠落している値を報告するエレガントな方法

14 に答える 14

Related

Reference