如何在 r 中导入 csv 数据后删除空行答案

【问题标题】：How to remove empty rows after csv data import in r如何在 r 中导入 csv 数据后删除空行
【发布时间】：2019-11-08 09:48:19
【问题描述】：

我将几个大型 csv 文件与对象的到达 (ATA) 和离开 (ATD) 时间相结合。合并文件后，我无法使用熟悉的方法删除 <NA> 行。换行符和回车符的来源可能在 Windows 和 Unix 文件之间存在差异。但我不想更改 csv 文件。我希望能够更正 R 中的数据框。

我合并了几个包含相同变量的大型 csv 文件，例如：

# read csv files
df1 <- read.csv("data_1.csv", stringsAsFactors = FALSE)
df2 <- read.csv("data_2.csv", stringsAsFactors = FALSE)
df3 <- read.csv("data_3.csv", stringsAsFactors = FALSE)

# combine csv files
combidat <- rbind(df1, df2, df3)

# remove duplicate entries
combidat <- combidat[!duplicated(combidat), ]

要删除 ID 中带有 <NA> 的条目（第一列变量），我使用以下几个之一：

combidat <- combidat[!is.na(combidat$ID),]
combidat <- combidat[complete.cases(combidat[ , 1]),]
combidat <- combidat[rowSums(is.na(combidat)) != ncol(combidat),]

我还发现：

combidat <- combidat[-which(apply(combidat,1,function(x)all(is.na(x)))),]

但我不能使用这种方法。如果我这样做，combidat 将变为空。

如果我检查结果：

combidat[is.na(combidat$ID),]

我明白了：

 [1] ID            ATA            ATD            object
<0 rows> (or 0-length row.names)

但是，如果我检查不一致之处，即到达时间之前的出发时间：

combidat[(ATD<ATA),]

我明白了：

               ID                      ATA                       ATD    object
233      51586002      2016-03-14 09:44:00       2016-03-14 09:00:00    car718
798      54846070      2016-06-19 01:37:00       2016-04-07 23:59:00    car276
4126     56066767      2016-03-31 14:00:00       2016-03-30 07:00:00    car089
NA             NA                     <NA>                      <NA>        NA
NA.1           NA                     <NA>                      <NA>        NA
NA.2           NA                     <NA>                      <NA>        NA
NA.3           NA                     <NA>                      <NA>        NA
NA.4           NA                     <NA>                      <NA>        NA
NA.5           NA                     <NA>                      <NA>        NA
NA.6           NA                     <NA>                      <NA>        NA
NA.7           NA                     <NA>                      <NA>        NA

我希望得到的是：

               ID                      ATA                       ATD    object
233      51586002      2016-03-14 09:44:00       2016-03-14 09:00:00    car718
798      54846070      2016-06-19 01:37:00       2016-04-07 23:59:00    car276
4126     56066767      2016-03-31 14:00:00       2016-03-30 07:00:00    car089

任何解释我做错了什么以及如何纠正它，将不胜感激。

[2019 年 6 月 28 日补充] 导入的 csv 文件出现问题。以某种方式在数据字段中返回换行符/回车，被解释为记录结束标记。我玩弄了“报价”：

df1 <- read.csv("data_1.csv", stringsAsFactors = FALSE, quote = "\"'")

这有一些影响，但我没有理解正确。

【问题讨论】：

你能不能秀个小例子的dput
你的 NA 不是像字符一样编码吗？如果您尝试combidat[combidat$ID=="NA",]，您会得到同样的结果吗？
@gdevaux 我们总是可以在 read.csv 中使用 na.strings = c("NA")' 来转换 NAs 中的 NA 字符

标签： r csv dataframe na

【解决方案1】：

combidat <- combidat[which(!is.na(combidat$ID)),]

【讨论】：

【解决方案2】：

正如 gdevaux 所说，也许您的“NA”是字符。在这种情况下，您可以使用 dplyr 包过滤数据（您也可以尝试使用 base R 进行过滤）：

library(dplyr)
combidat<- combidat%>% filter(!ID=="NA")

它也可能有空格，在这种情况下，您可以在导入时修剪或修剪列并重试上面的代码。

library(stringr)    
combidat<- combidat%>% 
      mutate(ID=str_trim(ID, side = "both"))%>%
      filter(!ID=="NA")

最后，您的 ID 列似乎只是由数字 ID 组成。在这种情况下，您可以将列设为数字，从而将 NA 值强制为实际 NA。

    combidat$ID<- as.numeric(combidat$ID)
combidat<- combidat%>% filter(!is.na(ID))

如果值被强制，R 会告诉你。

【讨论】：

【解决方案3】：

上面的两个答案会对你有所帮助。这是从数据框中过滤空观测值和变量的另一种方法。

#install.packages("janitor")
library(janitor)
remove_empty(combidat, "rows")

【讨论】：