我有一个包含 11 列和 100000 行（例如）的大型数据集，其中我的值是 1、2、3、4。其中 4 是缺失值。有些行完全丢失了。即所有 11 列中的 4 个。例如
"4" "4" "4" "4" "4" "4" "4" "4" "4" "4" "4"
现在我需要的是只删除那些完全丢失的行。简而言之，我想保留缺失值小于 11 的行。我使用了 na.omit，但它不适用于我的情况。
提前致谢。
【问题讨论】：
str(head(foo)) 的输出来编辑您的问题，其中foo 是您的数据。
标签： r
也许您最好的选择是利用 R 的习语来处理缺失或 NA 值。一旦您编码了NA 值，您就可以使用complete.cases 轻松实现您的目标。
创建一些带有缺失值（即值为 4）的示例数据：
set.seed(123)
m <- matrix(sample(1:4, 30, prob=c(0.3, 0.3, 0.3, 0.1), replace=TRUE), ncol=6)
m[4, ] <- rep(4, 6)
用NA替换所有等于4的值：
m[m==4] <- NA
m
[,1] [,2] [,3] [,4] [,5] [,6]
[1,] 1 1 NA 2 2 2
[2,] 2 3 3 1 2 3
[3,] 3 2 2 1 2 3
[4,] NA NA NA NA NA NA
[5,] NA 3 1 NA 2 1
现在您可以使用各种处理NA 值的函数。例如，complete.cases 只会返回，你猜对了，完整的案例：
m[complete.cases(m), ]
[,1] [,2] [,3] [,4] [,5] [,6]
[1,] 2 3 3 1 2 3
[2,] 3 2 2 1 2 3
有关详细信息，请参阅 stats 包中的 ?complete.cases 或 ?na.fail。
【讨论】：
我在其他地方找到了这个解决方案，并使用 Andrie 的代码将其粘贴到此处以生成初始数据集。
首先生成数据集：
set.seed(123)
m <- matrix(sample(1:4, 30, prob=c(0.3, 0.3, 0.3, 0.1), replace=TRUE), ncol=6)
m[4, ] <- rep(4, 6)
m[m==4] <- NA
m
这是初始数据集：
1 1 NA 2 2 2
2 3 3 1 2 3
3 2 2 1 2 3
NA NA NA NA NA NA
NA 3 1 NA 2 1
现在删除仅包含缺失观察的行：
m[rowSums(is.na(m))<ncol(m),]
结果如下：
1 1 NA 2 2 2
2 3 3 1 2 3
3 2 2 1 2 3
NA 3 1 NA 2 1
【讨论】：
真正快速的方法是使用一点数学。假设您的数据框称为 datf
rsum <- rowSums(datf)
datf <- datf[rowSums != 44,] #11 * 4
（也适用于矩阵）
【讨论】：
c(4,4,4,4,4,4,4,4,4,3,5)）。
这是我能想到的最快的解决方案。我将使用类似于@Andrie 的示例数据。
set.seed(21)
m <- matrix(sample(1:6, 110, replace=TRUE), ncol=11)
missVal <- 4
m[4, ] <- rep(missVal, 11)
m <- m[ rowSums((m==missVal)) != NCOL(m), ]
最后一行有效，因为 m==missVal 返回一个逻辑 (TRUE/FALSE) 值矩阵。 rowSums 将 TRUE 转换为 1 并将 FALSE 转换为 0，因此在这种情况下，只要 rowSums 返回 11，我们就知道所有列都是 4。
【讨论】：
使用data.table 来提高内存效率。创建is.na(x) 的解决方案是创建一个与原始数据集一样大的数据集，因此效率低下。
library(data.table)
DT <- as.data.table(m)
missing_value <- 4
missing <- as.data.table(setNames(as.list(rep(4, length(DT)), names(DT))
setkeyv(DT, names(DT))
setkey(missing, names(DT))
DT[-DT[(missing),which=T]]
这个和@JoshuaUlrich 的解决方案对于大数据来说都是快速的
set.seed(21)
m <- matrix(sample(1:6, 1100000, replace=TRUE), ncol=11)
missVal <- 4
missing_rows <- sample(100000, 53)
m[missing_rows, ] <- rep(missVal, 11)
DT <- as.data.table(m)
setkeyv(DT, names(DT))
missing <- setNames(as.list(rep(missVal, 11)), names(DT))
system.time({DT1 <- DT[-DT[missing,which=T]]})
## user system elapsed
## 0.02 0.00 0.01
system.time({m1 <- m[ rowSums((m==missVal)) != NCOL(m), ]})
## user system elapsed
## 0.02 0.02 0.03
【讨论】：
T/F 而不是TRUE/FALSE，因为T 和F 可以重新定义。
这样的事情应该可以解决问题（并且应该适用于矩阵和 data.frames）：
ac<-matrix(c("4","4","4","4","4","4","4","3","3","4","4", rep("4", 11)), nrow=2, ncol=11, byrow=TRUE)
rowsToRemove<-which(apply(ac, 1, function(currow){
all(currow=="4")
}))
现在你可以简单地做
newac<-ac[-rowsToRemove,]
【讨论】：