删除在某些列中具有所有NA的行

Question

假设您有一个包含9列的数据框。您要删除在5：9栏中具有所有NA的案例。如果列1：4中有NA，则根本不相关。

到目前为止，我已经找到了允许您删除第5：9列的any中具有NA的行的函数，但是我特别需要仅删除第5列中具有all NA的那些行： 9。

我编写了自己的函数来执行此操作，但是由于我有300k +行，所以它非常慢。我想知道是否有更有效的方法？这是我的代码：

remove.select.na<-function(x, cols){
  nrm<-vector("numeric")
  for (i in 1:nrow(x)){
    if (sum(is.na(x[i,cols]))<length(cols)){
      nrm<-c(nrm,i)
    }
    #Console output to track the progress
    cat('\r',paste0('Checking row ',i,' of ',nrow(x),' (', format(round(i/nrow(x)*100,2), nsmall = 2),'%).'))
    flush.console()
  }
  x<-x[nrm,]
  rm(nrm)
  return(x)
}

其中x是数据帧，而cols是一个向量，其中包含应检查NA的列的名称。

Answer 1

这是一种单行代码，可删除5到9之间所有列中带有NA的行。通过将rowSums()与is.na()组合在一起，很容易检查这5列中的所有条目是否都是NA：

x <- x[rowSums(is.na(x[,5:9]))!=5,]

Answer 2

这里有两个dplyr选项：

library(dplyr)
df <- data_frame(a = c(0, NA, 0, 4, NA, 0, 6), b = c(1, NA, 0, 4, NA, 0, NA), c = c(1, 0, 1, NA, NA, 0, NA))


# columns b and c would be the columns you don't want all NAs

df %>% 
  filter_at(vars(b, c), any_vars(!is.na(.)))

df %>% 
  filter_at(vars(b, c), any_vars(complete.cases(.)))

# A tibble: 5 x 3
      a     b     c
  <dbl> <dbl> <dbl>
1     0     1     1
2    NA    NA     6
3     0     6     1
4     4     4    NA
5     0     0     0

Answer 3

您可以将all与apply一起使用以查找所有值为NA的行：

x[!apply(is.na(x[,5:9]), 1, all),]

或否定is.na并测试any：

x[apply(!is.na(x[,5:9]), 1, any),]

或使用rowSums之类的@RHertel，您无需计算选定的行数：

x[rowSums(!is.na(x[,5:9])) > 0,]

Answer 4

我不知道它的运行速度比您的函数快，但是也许您可以对数据帧的每一行使用!any和is.na。使用此示例数据：

set.seed(1234)
x = do.call(cbind, lapply(1:9, function(x) runif(10)))
x[sample(length(x), size = 70)] <- NA
x <- data.frame(x)

> x
     X1 X2   X3   X4   X5   X6   X7   X8  X9
1  0.11 NA   NA 0.46 0.55 0.07   NA   NA  NA
2  0.62 NA   NA   NA   NA   NA 0.04   NA  NA
3    NA NA   NA 0.30   NA   NA   NA 0.01  NA
4  0.62 NA 0.04 0.51   NA   NA   NA   NA  NA
5  0.86 NA   NA 0.18   NA   NA   NA   NA 0.2
6  0.64 NA   NA   NA   NA 0.50   NA 0.52  NA
7    NA NA   NA   NA 0.68   NA   NA   NA  NA
8    NA NA   NA   NA   NA   NA   NA   NA  NA
9    NA NA   NA   NA   NA 0.17   NA   NA  NA
10   NA NA 0.05   NA   NA   NA   NA   NA  NA

看起来像第4、8和10行应该删除。因此，您可以使用apply遍历每一行以查看条件是否得到满足-在第5至9列中具有NA以外的任何值的任何行都将返回TRUE，因此可以将其用作您数据框的索引器。

keep.rows <- apply(x[, 5:9], 1, FUN = function(row){
  any(!is.na(row))
})

> x[keep.rows, ]
    X1 X2 X3   X4   X5   X6   X7   X8  X9
1 0.11 NA NA 0.46 0.55 0.07   NA   NA  NA
2 0.62 NA NA   NA   NA   NA 0.04   NA  NA
3   NA NA NA 0.30   NA   NA   NA 0.01  NA
5 0.86 NA NA 0.18   NA   NA   NA   NA 0.2
6 0.64 NA NA   NA   NA 0.50   NA 0.52  NA
7   NA NA NA   NA 0.68   NA   NA   NA  NA
9   NA NA NA   NA   NA 0.17   NA   NA  NA

再次，不确定它是否比您的功能更快，但是...也许？

Answer 5

lines=
   'V1   V2   V3   V4  
    A    10   20   NA   
    B    NA   NA   NA   
    C     5   20   3     
    D    15   20   4    
    E    NA   10   5'

df = read.table(textConnection(lines), header = T)

df[is.na(df)] = 'X'


attach(df)

x = subset(df, V2 == 'X'   &   V3 == 'X'   &   V4 == 'X')
df_new = df[-as.numeric(row.names(x)),]
df_new

#  V1 V2 V3 V4
#1  A 10 20  X
#3  C  5 20  3
#4  D 15 20  4
#5  E  X 10  5

detach(df)