如何忽略并包括一整行 NA 之后的所有行？

Question

我之所以问这个问题是因为我在一个实验室工作，我的同事在其中对 Microsoft-Excel 电子表格进行一些分析。我有时会在电子表格列的底部找到一个 Microsoft Excel 分析表。为了我的目的，我可以毫不费力地将这些电子表格读入 R。模式是电子表格中总会有至少一整行空单元格或 NA，因此任何跟随并包括整行 NA 的内容都不应解释为 R，因为它不是原始数据。

想象一个像这样的简单数字数据框 (df)。

我添加了一个“#”来显示我想要排除的行。

    x  y  z  comments
1   8  5  4     <NA>
2   3  6  5     <NA>
3   7  7  3     <NA>
4   9  3 10     Well
5   4 NA  6     <NA>
6   5  9  8     <NA>
7   1  4  7     Yeah
8  10  2  2     <NA>
9   2 10  9     <NA>
10  6  1  1 I guess 
11 NA NA NA     <NA> # whole row of NAs/empty cells. # exclude
12  8  3  4  Summary # exclude 
13  1  1  2     <NA> # exclude
14 NA NA NA     <NA> # exclude 

如果我只是排除所有包含 NA 的行，我会丢失很多信息：

print(na.omit(df))
   x y  z comments
4  9 3 10     Well
7  1 4  7     Yeah
10 6 1  1 I guess 

我不想因为 cmets 可能不完整而忽略它们。

但是看到整行 NA，在本例中出现在第 11 行信号中以排除以下行，因此我想要包含的电子表格包含这么多：

    x  y  z comments
1   8  5  4     <NA>
2   3  6  5     <NA>
3   7  7  3     <NA>
4   9  3 10     Well
5   4 NA  6     <NA>
6   5  9  8     <NA>
7   1  4  7     Yeah
8  10  2  2     <NA>
9   2 10  9     <NA>
10  6  1  1 I guess 

这里只是模拟数据，但我必须经常这样做，所以这是我向您展示的模拟数据：

structure(list(x = c(8, 3, 7, 9, 4, 5, 1, 10, 2, 6, NA, 8, 1, 
NA), y = c(5, 6, 7, 3, NA, 9, 4, 2, 10, 1, NA, 3, 1, NA), z = c(4, 
5, 3, 10, 6, 8, 7, 2, 9, 1, NA, 4, 2, NA), comments = c(NA, NA, 
NA, "Well", NA, NA, "Yeah", NA, NA, "I guess ", NA, "Summary", 
NA, NA)), .Names = c("x", "y", "z", "comments"), row.names = c(NA, 
14L), class = "data.frame")

如何在任何类型的数据框中排除所有行，包括并跟随一整行 NA（空单元格）？

谢谢。

Answer 1

我们可以使用Reduce 和& 来创建用于子集数据集的逻辑向量

df[!cumsum(Reduce(`&`, lapply(df, is.na))),]
#   x  y  z comments
#1   8  5  4     <NA>
#2   3  6  5     <NA>
#3   7  7  3     <NA>
#4   9  3 10     Well
#5   4 NA  6     <NA>
#6   5  9  8     <NA>
#7   1  4  7     Yeah
#8  10  2  2     <NA>
#9   2 10  9     <NA>
#10  6  1  1 I guess 

Answer 2

一个基本的 R 选项是首先计算 NA 值的所有行总和，然后检查哪些总和等于列数。然后，找到具有所有 NA 值的 第一 行，然后对数据框进行子集化，从头到尾取所有行，直到减去所有 NA 值的第一行。

# TRUE if a given row has NA in every column
x <- rowSums(is.na(df)) != ncol(df)

# the row immediately before the FIRST all NA row, or the final row,
# if no rows are all NA
last_row <- ifelse(length(which(!x)) == 0, nrow(df), which(!x)[1] - 1)

# subset the data frame
df[1:last_row, ]

Demo

我更新以涵盖数据框中没有行具有所有 NA 值的边缘情况。在这种情况下，子集应该只生成整个原始数据帧。